检索结果-南通市图书馆

作者：谢欣华南理工大学

学位级别：硕士

商业银行每天随着交易的发生产生大量的金融数据,除交易数据外,还包括大量各类结构化和非结构化的数据,例如客户操作行为、扫描单据、视频、录音等,这些数据在银行内各个系统中分散存储,难以统一进行分析和利用。此外,大部分数据来源于... 详细信息

商业银行每天随着交易的发生产生大量的金融数据,除交易数据外,还包括大量各类结构化和非结构化的数据,例如客户操作行为、扫描单据、视频、录音等,这些数据在银行内各个系统中分散存储,难以统一进行分析和利用。此外,大部分数据来源于交易系统,但交易系统出于存储容量及性能的考虑,往往不会长期存储操作痕迹、状态等过程数据,而是采取定期清理等策略,清理后将难以追溯某一时点的特定数据。随着监管要求和银行管理要求的提高,对历史数据的完整性要求也越来越高;商业银行进行客户精准营销、风险模型建设等与数据分析挖掘相关的应用,也要求历史数据可完整的保存并易于查询。随着数据的存储技术和大数据技术的发展,基于大数据平台技术为基础框架建设商业银行的归档数据仓库,实现商业银行海量历史数据的存储和处理平台,以支撑商业银行对历史数据查询、原始交易数据查询等各类应用场景,帮助实现对大数据的处理与运用,是商业银行历史数据归档数据仓库构建的未来趋势所在。本文以某商业银行的归档数据仓库为例,对支持大数据的分析应用方向进行了深入的研究。通过数据采集功能、数据处理功能、数据存储功能、数据访问功能、调度和监控功能等,建立历史数据存储、管理和应用的归档数据仓库。从技术上来说,利用Hadoop大数据的分布式框架的运用,包括HDFS、Hive、HBase等项目,提供基于海量历史数据的归档和查询。本文搭建了基于Hadoop的大数据处理平台,该平台提供Hadoop集群的管理功能、监控功能和诊断功能,提供大数据平台的监控、操作、配置、日志查看、性能报告等管理界面。在此基础上,对银行归档数据的数据仓库进行了设计,归档存储银行重要系统的数据,包括对核心、手机银行、信贷等业务系统的账务、流水等数据表进行T+1的数据归档存储,进行长历史的存储,满足历史数据各式各样的查询场景。本文使用Perl语言对常用功能进行了封装,提供公共组件,如文件传输、Oracle数据卸载、hive数据装载/卸载等公共函数。实现了多版本的数据访问服务,提供数据表任意历史时间的原始表结构和数据访问。系统测试表明,本文设计的数据仓库可提供历史数据的在线查询服务,提供账务、交易流水等数据表时点快照信息的查询服务。满足司法机关查询、内外部审计、监管等历史数据需求,提供批量数据供应服务,满足历史数据的批量导出需求。

关键词：历史数据归档 Hadoop 数据仓库

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于分层异构数据库系统的历史数据归档技术

引用

电信科学 2018年第S1期34卷 174-178页

作者：赵力帅李耕宇武振宇刘鹏中国移动通信集团设计院有限公司北京100080

省级移动支撑系统数据量的不断增长在生产运维、系统升级、历史数据管理等方面带来了很多问题。针对存在的问题,提出了基于分层异构的历史数据归档技术思路,实现控制生产系统数据量激增的趋势、数据库瘦身、硬件资源灵活调度、集成日常... 详细信息

省级移动支撑系统数据量的不断增长在生产运维、系统升级、历史数据管理等方面带来了很多问题。针对存在的问题,提出了基于分层异构的历史数据归档技术思路,实现控制生产系统数据量激增的趋势、数据库瘦身、硬件资源灵活调度、集成日常运维工作以提升系统运行高可用性等目标。

关键词：历史数据归档分层异构数据生命周期

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：