银行存储系统接口设计(存储器接口设计)

网友投稿 268 2022-12-27


本篇文章给大家谈谈银行存储系统接口设计,以及存储器接口设计对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。 今天给各位分享银行存储系统接口设计的知识,其中也会对存储器接口设计进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!

本文目录一览:

银行数据仓库体系实践(7)--数据模型设计及流程

数据仓库作为全行或全公司银行存储系统接口设计的数据中心和总线银行存储系统接口设计,汇集银行存储系统接口设计了全行各系统以及外部数据,通过良好的系统架构可以保证系统稳定性和处理高效性,那如何保障系统数据的完备性、规范性和统一性呢?这里就需要有良好的数据分区和数据模型,那数据分区在第三部分数据架构中已经介绍,本节将介绍如何进行数据模型的设计。

1、各数据分区的模型设计思路:

       数据架构部分中提到银行存储系统接口设计了在数据仓库中主要分为以下区域,那各数据区域的主要设计原则如下:

       (1)主数据区:主数据区是全行最全的基础数据区,保留历史并作为整个数据仓库的数据主存储区,后续的数据都可以从主数据区数据加工获得,因此主数据区的数据天然就要保留所有历史数据轨迹。

        1) 近源模型区:主要是将所有入数据仓库的数据表按历史拉链表或事件表(APPEND算法)的方式保留所有历史数据,因此模型设计较简单,只需要基于源系统表结构,对字段进行数据标准化后,增加保留历史数据算法所需要的日期字段即可。

        2)整合模型区:该模型区域按主题方式对数据进行建模,需要对源系统表字段按主题分类划分到不同的主题区域中,并主要按3范式的方式设计表结构,通过主题模型的设计并汇总各系统数据,可以从全行及集团角度进行客户、产品、协议(账户、合同)分析,获得统一视图。比如说,全行有多少客户、有多少产品?通过主题模型事先良好的设计和梳理,可以很快获得相关统计数据。

       主数据区的模型设计按顶层设计(自上而下)为主,兼顾应用需求(自下而上)的方式,即需要有全局视角,也要满足应用需求。那顶层设计主要是需要从全行数据角度对源系统的主要业务数据进行入仓,获得全行客户、业务数据的整体视角,同时又保存所有交易明细数据,满足后续的数据分析需求银行存储系统接口设计;应用需求指源系统数据的入仓也需要考虑当前集市、数据应用系统的数据需求,因为数据需求是千变万化的,但是只要保留全面的基础的业务数据,就有了加工的基础,当前的数据需求只是考虑的一部分,更多的需要根据业务经验以及主题模型进行数据入仓和模型设计。

        主数据模型的设计主要自上而下,近源模型层虽然比较简单,但设计步骤和整合模型类型,分为以下几个步骤:

       步骤1:系统信息调研,筛选入仓的系统并深入了解业务数据;

       步骤2:对入仓系统进行表级筛选和字段筛选,并将字段进行初步映射;

        步骤3:根据入仓字段按一定规范设计逻辑模型;

       步骤4:对逻辑模型进行物理化;

       (2)集市区:集市区的设计表结构设计主要按维度模型(雪花模型、星形模型)进行设计,主要是为了方便应用分析,满足数据应用需求,集市区一般以切片的形式保留结果历史数据,但保留期限不会太长,比如只保留月末数据以及当前月份的每日切片数据。

       数据集市需要从数据仓库获得基础数据,对于仓内集市,可以直接访问或通过视图访问,减少数据存储,仓外集市则需要从数据仓库获得批量数据作为基础数据进行存储加工。因此仓外集市还需要设计基础数据的保留策略。

      集市区的设计步骤如下:

       (3)接口区:接口区的设计完全根据数据应用系统的接口方式来进行,一般也是维度模型(事实表+维度表)方式,接口区之前也提到过,不做复杂计算,只做简单关联,可以将复杂计算放到集市或指标汇总层加工。
        (4)指标汇总区:作为集市接口区和主数据区的中间层,主要是提供基于各集市和接口数据的共性需求,基于主模型区数据进行统一加工。即面向所有的应用需求来设计,那中间层一般采用维度模型,按从细粒度到粗粒度的方式逐步汇总。由于各数据应用及集市的需求不断变化,指标汇总区也是不断进行完善,许多一开始在集市的加工由于其它集市或应用也需要,则会从集市转移到指标汇总层。常见的数据就是客户、账户、合同等常用的数据实体的宽表(事实表),统一进行汇总后供各数据应用使用。

        另外指标汇总层也包括共性指标的加工,指标可以通过基础指标配置指标计算加工方式获得衍生指标,那这些基础指标和衍生指标的定义、口径以及加工方式可以由指标管理系统来维护并集成到数据标准系统和元数据管理系统中。

        指标汇总区设计步骤如下:

        (5)非结构化数据存储区:非结构化存储区的设计不仅需要考虑非结构化数据本身的存储,同时需要考虑非结构化数据所带有的结构化属性,因此在设计时主要考虑以下几点:

         1)存储路径规划:是需要将非结构化数据按源系统、类型、日期、外部来源等角度进行存储路径的规划,分门别类,便于管理。

         2)对非结构化数据的元数据建立索引:比如对于凭证的影像,需要有账户、流水号、客户名等相关结构化数据,以便完整描述影像图片的来源,通过对这些结构化数据建立索引,方便查找。

         3)对部分文档内容建立索引:对于部分文档如合同电子版、红头文件PDF需要建立内容索引,以便快速搜索查找文件内容,一般可用支持HADOOP的ElasticSearch来实现。

         4)设立计算区和结果区:由于非结构化数据往往需要使用MAPREDUCE或程序化语言进行处理,也会产生中间临时文件和结果数据,因此需要规划计算区和结果区来存放这些数据。
        (6)历史数据存储区:历史数据区作为历史数据的归档,即包括结构化数据,也包括非结构化数据,对于历史数据除了存储也需要方便查找,历史数据区的规划设计需要考虑非结构化数据存储区的存储、索引设计外,还需要考虑以下几点:

        1)压缩,由于历史数据使用频率低,可以选择压缩率较高的算法,降低存储空间。

         2)容量规划:由于历史数据归档会越来越大,因此需要提前进行容量规划以及历史数据清理。比如10年以上的数据进行删除。

         3)可设计一个管理系统对历史数据进行归档、查找以及管理。
        (7)实时数据区:实时数据区需要使用部分批量数据来和实时流数据进行关联加工,因此可从主数据区获得所需要的数据后进行存放在实时数据区的关联数据区,同时对于加工结果不仅可以推送到KAFKA等消息中间件,同时也可输出到实时数据区的结果区进行保留。
        (8)在线查询区:在线查询区主要在线提供计算结果查询,常用HBASE来实现,设计按照接口来分别存放到不同的HBASE表,字段内容也主要是接口字段内容。HBASE表可以根据应用或者接口类型进行分目录和分用户。由于在线查询区和实时数据区考虑到作业的保障级别以及资源竞争,往往会单独建立一套集群,与批量作业集群进行隔离,在线查询的结果计算可以在批量集群计算后加载到在线查询区。
        后续将分别对主数据区、集市及汇总指标层模型设计进行介绍,敬请关注。

几种存储接口协议全面比较(一)

硬盘接口是硬盘与主机系统间的连接部件银行存储系统接口设计,作用是在硬盘缓存和主机内存之间传输数据。不同的硬盘接口决定着硬盘与控制器之间的连接速度银行存储系统接口设计,在整个系统中银行存储系统接口设计,硬盘接口的性能高低对磁盘阵列整体性能有直接的影响,因此了解一款磁盘阵列的硬盘接口往往是衡量这款产品的关键指标之一。存储系统中目前普遍应用的硬盘接口主要包括SATA、SCSI、SAS和FC等,此外ATA硬盘在SATA硬盘出现前也在一些低端存储系统里被广泛使用。 每种接口协议拥有不同的技术规范,具备不同的传输速度,其存取效能的差异较大,所面对的实际应用和目标市场也各不相同。同时,各接口协议所处于的技术生命阶段也各不相同,有些已经没落并面临淘汰,有些则前景光明,但发展尚未成熟。那么经常困扰客户的则是如何选择合适类型阵列,既可以满足应用的性能要求,又可以降低整体投资成本。现在,我们将带您了解目前常见的硬盘接口技术的差异与特点,从而帮助您选择适合自身需求的最佳方案。 ATA,在并行中没落 ATA (AT Attachment)接口标准是IDE(Integrated Drive Electronics)硬盘的特定接口标准。自问世以来,一直以其价廉、稳定性好、标准化程度高等特点,深得广大中低端用户的青睐,甚至在某些高端应用领域,如服务器应用中也有一定的市场。ATA规格包括了 ATA/ATAPI-6 其中Ultra ATA 100兼容以前的ATA版本,在40-pin的连接器中使用标准的16位并行数据总线和16个控制信号。 最早的接口协议都是并行ATA(Paralle ATA)接口协议。PATA接口一般使用16-bit数据总线, 每次总线处理时传送2个字节。PATA接口一般是100Mbytes/sec带宽,数据总线必须锁定在50MHz,为了减小滤波设计的复杂性,PATA使用Ultra总线,通过“双倍数据比率”或者2个边缘(上升沿和下降沿)时钟机制用来进行DMA传输。这样在数据滤波的上升沿和下降沿都采集数据,就降低一半所需要的滤波频率。这样带宽就是:25MHz 时钟频率x 2 双倍时钟频率x 16 位/每一个边缘/ 8 位/每个字节= 100 Mbytes/sec。 在过去的20年中,PATA成为ATA硬盘接口的主流技术。但随着CPU时钟频率和内存带宽的不断提升,PATA逐渐显现出不足来。一方面,硬盘制造技术的成熟使ATA硬盘的单位价格逐渐降低,另一方面,由于采用并行总线接口,传输数据和信号的总线是复用的,因此传输速率会受到一定的限制。如果要提高传输的速率,那么传输的数据和信号往往会产生干扰,从而导致错误。 PATA的技术潜力似乎已经走到尽头,在当今的许多大型企业中,PATA现有的传输速率已经逐渐不能满足用户的需求。人们迫切期待一种更可靠、更高效的接口协议来替代PATA,在这种需求的驱使下,串行(Serial)ATA总线接口技术应运而生,直接导致了传统PATA技术的没落。

系统概要设计的接口设计

接口设计包括三个方面:
一、用户接口
用来说明将向用户提供的命令和它们的语法结构,以及软件的回答信息。
二、外部接口
用来说明本系统同外界的所有接口的安排包括软件与硬件之间的接口、本系统与各支持软件之间的接口关系。
三、内部接口
用来说明本系统之内的各个系统元素之间的接口的安排

硬盘接口有哪几种

硬盘有以下几种接口:

1、SATA接口:

这是目前主流的接口类型,机械硬盘基本就是这个接口。固态硬盘也一样,采用2.5英寸设计,很方便习惯用笔记本的人进行升级。

2、mSATA接口:

这个接口其实就是迷你版SATA接口,这种接口的固态硬盘非常小,厚度不到5mm,因此占用空间很低,非常适合轻薄本。mSATA接口固态硬盘虽然小,但是速度上并不差,和SATA接口的SSD读写速度是基本一致的,当然这是理论上。

3、NGFF接口:

这是Intel为超极本特别做出的一款接口,如果闪存芯片只放在PCB板一面的话,不到3mm厚度,两面也不到4mm厚度,要比mSATA接口的固态硬盘更加小巧。超极本常用这种类型。

速度上,采用PCI-E X2的NGFF接口的SSD读取最高可达700MB/s,写入可达550MB/s,相比mSATA接口的固态硬盘来说更快。

NGFF接口的固态硬盘与mSATA接口的固态硬盘相比,厚度与宽度都差不多,但是长度差距很多,厂商一般通过增加长度的方式来加大容量。

4、PCLE接口

苹果笔记本所采用的PCLE,这是与PCI-E总线相联,同时采用mSATA接口的SSD,读写能达到800MB/s左右。

5、ATA全称Advanced Technology Attachment,是用传统的40-pin并口数据线连接主板与硬盘的,外部接口速度最大为133MB/s,因为并口线的抗干扰性太差,且排线占空间,不利计算机散热,将逐渐被SATA所取代。

6、SCSI

SCSI的英文全称为“Small Computer System Interface”(小型计算机系统接口),是同IDE(ATA)完全不同的接口,IDE接口是普通PC的标准接口,而SCSI并不是专门为硬盘设计的接口,是一种广泛应用于小型机上的高速数据传输技术。

SCSI接口具有应用范围广、多任务、带宽大、CPU占用率低,以及热插拔等优点,但较高的价格使得它很难如IDE硬盘般普及,因此SCSI硬盘主要应用于中、高端服务器和高档工作站中。

7、光纤通道

光纤通道的英文拼写是Fibre Channel,和SCSI接口一样光纤通道最初也不是为硬盘设计开发的接口技术,是专门为网络系统设计的,但随着存储系统对速度的需求,才逐渐应用到硬盘系统中。

光纤通道硬盘是为提高多硬盘存储系统的速度和灵活性才开发的,它的出现大大提高了多硬盘系统的通信速度。光纤通道的主要特性有:热插拔性、高速带宽、远程连接、连接设备数量大等。

8、SAS

SAS(Serial Attached SCSI)即串行连接SCSI,是新一代的SCSI技术,和现在流行的Serial ATA(SATA)硬盘相同,都是采用串行技术以获得更高的传输速度。并通过缩短连结线改善内部空间等。

SAS是并行SCSI接口之后开发出的全新接口。此接口的设计是为了改善存储系统的效能、可用性和扩充性,并且提供与SATA硬盘的兼容性。

银行ecif系统是一个怎样的系统?

你好,很荣幸为你解答。
ECIF系统属于分析型客户关系管理(CRM)系统,其核心功能包括:客户单一视图展现、经营分析和辅助决策分析、数据挖掘和预测。

随着银行业全面对外开放,银行之间全方位的竞争,不但体现在金融产品的创新上,还体现在内部的经营管理上。其基础和实质都是如何做到“以客户为中心”,更好地为客户服务。因此要求各银行最大限度地整合和挖掘客户信息,从深度和广度两方面分析,进而为银行战略方针的制定提供数据支持。企业级客户单一视图系统(ECIF)应用而生,下面以某银行ECIF系统的建设为例,分析ECIF系统的主要功能和技术实现要点。

一、ECIF的主要功能
ECIF一般采用T+1的方式整合不同系统,展现客户信息全貌,属于银行后台的管理应用。系统主要功能如图1所示。
1.整合客户信息的范围
ECIF系统主要业务功能是整合客户的各类信息,并对部分信息进行分析加工。从客户视角出发,客户信息涵盖客户的基本信息、账户信息、 签约信息、客户关系信息、以及客户在银行的利润贡献。
客户基本信息:ECIF集中存放并展现全行客户的基本信息,包括个人客户、企业客户、金融机构客户以及客户群的虚拟客户。涵盖了客户的通用、财务、风险及特征等信息。
客户账户信息:账户信息指客户在银行的所有账户情况,可能分散在各应用产品中。ECIF抽取、转换和整合(ETL)的过程需要对原系统的账户信息按照一定维度进行加工。前端可以分层展现,也可以利用报表工具用文字或图表等方式展现客户某类产品的历史余额变化。
客户关系信息:集团客户各成员之间的关系一直是银行经营层和管理层关注的重点。ECIF系统需要强大的追溯功能,支持以图表、文字等方式展现某一集团客户成员之间的关系概览,如存在的控股关系、母子公司关系。
客户签约产品信息:客户签约产品信息的内容主要包括客户额度合约、贷款合约、抵质押合约、保证合约、客户签约产品列表等。
分析信息:按照一定的业务分析模型分析客户对银行的利润贡献度,如内部资金价格转移、成本分摊计算客户对银行利息收入、利息支出、中间业务净收入、净利润等指标。
2.客户信息的挖掘
通过信息整合,ECIF系统可通过商务智能工具对客户信息进行多种维度、多种层次的数据分析,包括向下钻取、数据切片和旋转以及交互式的图形分析能力,使用户可从任意角度观察和研究客户信息,并支持创建完美的即席报表。而且支持用户从数据库中精心筛选“黄金”数据创建成多维数据立方体。立方体按视察业务的多维因素分析模型(OLAP)设计创建,用户可辨明趋势、跟踪业务运作、创建高效的统计汇总报表。
在客户信息整合的基础上,利用挖掘工具对客户进行VIP筛选。从大量客户信息中细分出普通客户、普通VIP客户、黄金VIP客户等,并为VIP客户提供差异化服务。
二、ECIF系统应用架构
ECIF系统在采用OFSA套件的金融数据模型(OFDM)基础上实现。如图2所示,系统采用多层、可扩展框架结构,整体包括数据导入(ETL)、数据管理和数据存取层三大部分。
1.数据导入
主要采用ETL工具,通过数据抽取、转换、并最后加载到OFSA基础数据库OFDM。具体分为如下几个区域。
文件预处理:接收数据下传平台数据,并完成诸如数据文件校验、拆分等相关预处理工作。
临时区域:加载数据的临时存储,并完成ETL工作中的各种复杂计算和转换工作。例如各种账户和数据的平均余额计算、VIP客户识别等工作。
OFDM区域:OFDM为ECIF数据存储模型存储区,为满足银行的各种分析和展现需求提供数据基础。
为满足ETL大批量数据处理的高性能、高吞吐量需求,整个ETL流程贯穿了大批量、并行处理的思路。利用了数据库中的并行处理技术、外部表技术、合并语句批量、并行更新技术、多表插入技术、直接插入技术、批量并行加载技术、分区交换技术、表空间迁移等技术。
非分区表的并行处理:非分区表在执行并行查询语句时,根据该表的并行度 (DOP)定义或者根据语句的并行处理提示(/*+ PARALLEL() */),自动从并行处理缓冲池中分配相应数量的并行进程进行并行操作,并行处理协调器自动将各并行子进程处理的结果合并返回给客户,并释放并行子进程返回到缓冲池中。
分区级的并行处理:在对分区表进行处理时,自动为每个分区分配一个进程,达到并行处理的目的。分区之间可并行处理,自动根据资源使用情况和数据分布情况,自动在分区内部进行并行处理,提高大批量数据处理的吞吐量。
应用机群(RAC)节点间的并行处理:在RAC结构中,不仅单节点内可充分利用SMP服务器的多CPU、大内存的处理能力进行并行处理,而且当单节点不能满足处理需求时,RAC通过INSTANCE_GROUPS、PARALLEL_INSTANCE_GROUP等参数的设置,可将大作业分配到多个节点进行并行处理,充分利用硬件资源,提高大数据量处理的速度和吞吐量。
2.数据管理
OFDM数据库模型涉及的数据表主要有以下6类。
OFSA总账表:OFSA总账表用于保存金融数据汇总信息、统计信息、历史信息、和某一时间点的信息。OFSA系统中只有惟一的LEDGER_STAT表。表中的每一行均可找到期末、平均余额和统计要素。但外围系统数据导入此表时必需先导入一张接口表,再通过API由接口表导入总账表。
金融工具表:OFDM中存在多个金融工具表,用于记录金融产品账户级信息,包括存款、借款、信用卡等。
交易信息表:存放基础数据表的细节交易数据,如存贷款的明细交易层数据、中间业务的交易数据。
客户信息表:主要用于对客户关系的分析应用,能够提供各类客户关系及盈利能力分析报告。
OFDM基础数据表:OFDM基础数据表是用于存放OFSA系统的参数表,如利率曲线表、汇率曲线表、树结构定义等。
码表:支持上述各表的标准化代码表,如客户经理码表、行业码表等。
3.数据存取
基于商业智能工具所提供的强大展示能力,ECIF可以集中存放并展示全行各类客户的信息。通过ECIF系统,用户可查看客户的信息全貌,包括其历史信息。对于未保留历史的客户基本信息用特殊颜色或特殊字体标示,查询结果数据都可以用饼状图、曲线图、趋势图等图表形式灵活展现。
ECIF系统属于分析型客户关系管理(CRM)系统,其核心功能包括:客户单一视图展现、经营分析和辅助决策分析、数据挖掘和预测。银行实施分析型CRM项目建设,关键在于掌握客户信息,只有具备完整的客户信息,才能全面启动客户关系管理工作。 关于银行存储系统接口设计和存储器接口设计的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。 银行存储系统接口设计的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于存储器接口设计、银行存储系统接口设计的信息别忘了在本站进行查找喔。

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:华为api测试工具(华为api测试工具在哪)
下一篇:邮件接口测试工具怎么用(收发邮件检测工具)
相关文章

 发表评论

暂时没有评论,来抢沙发吧~