检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

一种金融系统专用etl工具的研究与实现

计算机工程 2008年第20期34卷 80-81,85页

作者：屈志毅张延堂王戈兰州大学信息科学与工程技术学院兰州730000

实现了一种基于Spring框架的商业银行专用etl程序。该程序利用Spring框架的控制反转技术,基于Ibatis的数据访问对象技术和Spring JDBC,以及Spring对Timer的支持,解决了etl过程中的数据转换、数据载入、生命周期管理、任务调度等关键问... 详细信息

实现了一种基于Spring框架的商业银行专用etl程序。该程序利用Spring框架的控制反转技术,基于Ibatis的数据访问对象技术和Spring JDBC,以及Spring对Timer的支持,解决了etl过程中的数据转换、数据载入、生命周期管理、任务调度等关键问题。该程序在IBM System x3850(8864I02)上运行,载入数据的平均速度达到每秒900条记录。

关键词： etl工具 Spring框架数据转换任务调度

基于流程化,组件化的etl工具的研究与设计

在线全文

学校读者我要写书评

暂无评论

教育信息化 2004年第10期 71-73页

作者：何彦彬周华云南大学

具有良好质量的数据仓库是数据挖掘的先决条件,一个支持数据抽取,清洗,转换和装载的工具是实现数据仓库必不可少的因素。本文介绍了etl的技术及相关概念,在数据仓库建设中的重要作用,提出一种流程化,组件化的etl工具设计思路,对应各个... 详细信息

具有良好质量的数据仓库是数据挖掘的先决条件,一个支持数据抽取,清洗,转换和装载的工具是实现数据仓库必不可少的因素。本文介绍了etl的技术及相关概念,在数据仓库建设中的重要作用,提出一种流程化,组件化的etl工具设计思路,对应各个功能在流程中设计和实现方法。

关键词：流程化组件化 etl工具数据挖掘数据仓库设计思路

构建基于工作流引擎和元数据驱动的数据仓库etl工具

在线全文

学校读者我要写书评

暂无评论

构建基于工作流引擎和元数据驱动的数据仓库ETL工具

作者：杜永友四川大学

学位级别：硕士

随着互连网和数据库技术的不断发展,经济全球化带来的企业竞争不断加剧,越来越多的企业想构建自己的数据仓库系统,对企业大量分散和异构的数据进行整合,期望从中获得更多有用的信息,来提升企业的竞争力。但是,手工编码实现的etl使构建... 详细信息

随着互连网和数据库技术的不断发展,经济全球化带来的企业竞争不断加剧,越来越多的企业想构建自己的数据仓库系统,对企业大量分散和异构的数据进行整合,期望从中获得更多有用的信息,来提升企业的竞争力。但是,手工编码实现的etl使构建数据仓库系统的周期拉长,数据仓库的数据质量不高,针对这种情况,本文提出了构建基于工作流引擎和元数据驱动的数据仓库etl工具的解决方案。这种解决方案大大缩短了数据仓库系统的开发周期,确保了数据仓库的数据质量,使新的业务数据自动的源源不断的进入数据仓库。这种基于工作流引擎和元数据驱动的数据仓库etl工具是由工作流引擎负责抽取任务的管理、抽取任务的指派、抽取任务的依赖和约束关系检查,这样解决了抽取任务之间的复杂调度关系。而且,该etl工具把所有跟数据抽取有关的数据以元数据的形式保存在元数据库,以元数据驱动数据抽取,实现了具体抽取程序跟具体业务的分离,使抽取程序灵活的适应具体业务逻辑的变化,不会因为具体的业务发生变化而改变抽取程序。本文首先在分析数据仓库的概念、特点及体系架构的基础上,指出了构建数据仓库etl工具的必要性。接着对工作流和元数据技术进行介绍和分析,并在对数据仓库etl工具分析的基础上提出了构建基于工作流引擎和元数据驱动的数据仓库etl工具的解决方案。然后,对该etl工具的整体框架进行了设计,并在该设计框架下,用Java实现了该etl工具并进行了测试。最后对该etl工具进行了总结,并对构建数据仓库etl工具的下一步工作进行了说明和展望。

关键词：数据仓库 etl工具工作流引擎元数据

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

肝细胞癌自动化BCLC分期模型研究

中国卫生标准管理 2024年第5期15卷 92-96页

作者：张冰许庆祎福建医科大学孟超肝胆医院肝胆外科福建福州350028

目的借助大数据平台,构建肝细胞癌(hepatocellular carcinoma,HCC)自动化巴塞罗那分期(Barcelona clinic liver cancer,BCLC)模型,以服务于临床诊疗及学术研究工作。方法选取福建医科大学孟超肝胆医院2020年1月—2022年12月收治的HCC患... 详细信息

目的借助大数据平台,构建肝细胞癌(hepatocellular carcinoma,HCC)自动化巴塞罗那分期(Barcelona clinic liver cancer,BCLC)模型,以服务于临床诊疗及学术研究工作。方法选取福建医科大学孟超肝胆医院2020年1月—2022年12月收治的HCC患者的临床资料,通过数据仓库技术(extract-transform-load,etl)工具构建患者的标准化全维度数据集(每个病例含700个维度)。选取2020年1月—2022年12月收治的1076例HCC患者,根据2016年BCLC分期标准,在数据集中提取肝性脑病、腹水、总胆红素、白蛋白、凝血酶原时间、肿瘤个数、肿瘤直径、门静脉癌栓情况、肝外转移情况、患者体力情况等12个相关维度,采用基于机器学习的自然语言处理和基于Python语言的XGBoost(eXtreme gradient boosting)模块等方法构建自动化BCLC分期模型。随机抽取2020年1月—2022年12月收治的HCC患者191例,进行既往病例测试。选择2020年1月—2022年12月收治的180例HCC患者,进行新增病例测试。由2名肝胆外科主治医师对测试病例进行人工分期审核,获得标准分期用于校正。比较模型自动化分期、病例记录分期及标准分期三者间差异,以观察模型的准确性和实用性。结果基于大数据方法学成功构建HCC自动化BCLC分期模型,通过含150个病例的验证集进行验证,准确率为93.33%,提示建模成功。既往病例测试结果提示,经标准分期校正,自动化分期准确率为98.43%,错误3例,其中0期1例、A期2例;记录分期准确率为96.33%,错误7例,其中0期2例,A期5例。新增病例测试结果提示,经标准分期校正,自动化分期准确率为95.56%,错误8例,其中0期1例,A期1例,B期4例,C期2例,D期0例;记录分期准确率为96.11%,错误7例,其中0期2例,A期1例,B期2例,C期2例,D期0例。结论HCC自动化BCLC分期模型高效、准确,在数据标准化方面尚有改进空间,值得向临床推广。

关键词：肝细胞癌 BCLC分期大数据 etl工具机器学习自然语言处理 XGBOOST

Kettle在高校大数据处理中的应用与研究——以广州工商学院为例

在线全文

学校读者我要写书评

暂无评论

互联网周刊 2024年第17期 50-52页

作者：徐绍铜广州工商学院

随着大数据技术的日益成熟,数据处理技术已经成为信息科学领域的重点研究方向。在高等学校教育领域中,各类教学、科研、管理、服务等活动产生了大量的数据,这些大规模数据已成为高校教育的重要数据资产。如何有效地处理和整合这些数据,... 详细信息

随着大数据技术的日益成熟,数据处理技术已经成为信息科学领域的重点研究方向。在高等学校教育领域中,各类教学、科研、管理、服务等活动产生了大量的数据,这些大规模数据已成为高校教育的重要数据资产。如何有效地处理和整合这些数据,为高校师生提供服务和为管理者提供决策,是目前各高校在数据治理过程中需要解决的问题。Kettle作为一款开源的etl工具,被广泛应用于数据抽取、数据转换、数据加载等任务中,用来实现异构数据源的整合,在高校大数据处理中具有非常重要的应用价值。本文先对Kettle作简单阐述,并通过具体的案例分析展现其实用性,从而在技术层面解决高校智慧校园建设过程中产生的数据孤岛问题,实现数据互联互通。

关键词： Kettle etl工具高校大数据处理数据集成数据交换

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

主数据管理平台的数据同步技术研究

今日自动化 2024年第2期 153-155页

作者：刘虎潘建宏崔壮郑忠龙舒路国家电网有限公司北京100000 国网吉林省电力有限公司吉林桦甸132400 国网信通亿力科技有限责任公司福建福州350000

文章对主数据管理平台的数据同步技术进行了研究,分析了etl工具、API集成以及实时与批量同步技术的优势和挑战,阐述了数据同步的错误处理机制。讨论了数据安全、数据质量管理、大规模并发处理及数据同步失败问题及应对策略,并探讨了大... 详细信息

文章对主数据管理平台的数据同步技术进行了研究,分析了etl工具、API集成以及实时与批量同步技术的优势和挑战,阐述了数据同步的错误处理机制。讨论了数据安全、数据质量管理、大规模并发处理及数据同步失败问题及应对策略,并探讨了大数据、AI和区块链技术在数据同步中的应用及其潜力和挑战。结论表明,通过采用先进技术和策略,可提高数据同步的效率和安全性。

关键词：主数据管理数据同步 etl工具 API集成

维普期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

大数据背景下江苏有线电视收视率预测

江苏社会科学 2015年第3期 257-265页

作者：邢亚彬史兹国河海大学商学院博士研究生210098 南京晓庄学院经济与管理学院副教授211171

收视率是广播电视行业的重要指标,近几年由于部分样本受人为因素影响导致电视收视率出现较大偏差而受到广泛的质疑,引起了很大的反响。本文以江苏某地区有线电视互动双向机顶盒所提供的全部客户收视数据为基础,运用etl数据挖掘技术产生... 详细信息

收视率是广播电视行业的重要指标,近几年由于部分样本受人为因素影响导致电视收视率出现较大偏差而受到广泛的质疑,引起了很大的反响。本文以江苏某地区有线电视互动双向机顶盒所提供的全部客户收视数据为基础,运用etl数据挖掘技术产生了全样本电视收视率数据,选取了其中若干个具有代表性的时间点数据,应用时间序列分析中的ARIMA模型对所得样本数据进行分析,产生了各个时间点的ARIMA模型,进而借助所得到的系列模型对短期电视收视率进行了预测。

关键词：全样本数据电视收视率 etl工具 ARIMA模型

维普期刊数据库博看期刊

基于OLE DB的数据抽取、转换和装入工具的设计与实现

在线全文

学校读者我要写书评

暂无评论

小型微型计算机系统 2002年第4期23卷 453-455页

作者：王元珍李海波华中科技大学计算机学院湖北武汉430074

本文讨论了如何利用 OL E DB接口设计与实现数据 etl工具 .按照面向对象的开发方法 ,通过 COM技术实现 OL E DB接口和 DTS接口 ,能够迅速地实现一个具有良好可扩展性的数据 etl

关键词： OLEDB etl工具数据迁移服务数据仓库系统数据库设计数据抽取

在线全文

学校读者我要写书评

暂无评论

系统数据迁移常见问题及案例分析

计算机科学 2019年第B6期46卷 412-416页

作者：陆叶杉广西大学计算机与电子信息学院

社会发展日趋进步,技术框架日新月异,日常系统以新换旧已经成为趋势,新系统代替旧系统势必会涉及到新旧系统的数据对接问题。在某市某组织的系统建设中,项目需要将旧系统的所有业务数据迁移到新系统。由于新旧系统使用的表空间、表结构... 详细信息

社会发展日趋进步,技术框架日新月异,日常系统以新换旧已经成为趋势,新系统代替旧系统势必会涉及到新旧系统的数据对接问题。在某市某组织的系统建设中,项目需要将旧系统的所有业务数据迁移到新系统。由于新旧系统使用的表空间、表结构及表字段都不一致,为了保证数据的一致性与完整性、迁移前后的数据没有漏误、不迁入脏数据来影响新系统的运行,在项目中如何在新旧系统之间进行数据迁移成为了重要课题。为了解决数据迁移的问题,文中设计了一套基于etl工具的数据迁移流程,并通过组合和串联得到了完整的数据迁移流程线,从而实现了数据迁移,完成了新旧系统的数据对接。文中阐述了以下几个数据在迁移中出现的问题及其解决方法:1)数据流转中出现的常见错误及解决方法;2)数据类型不一致的数据迁移问题及解决方法;3)数据迁移目标数据库字段长度不一致的问题及解决方法;4)数据迁移完成后,原数据出现新变动将如何重新调整迁移测量的问题及解决方法。基于此,文中对数据迁移过程中出现的问题与解决这些问题的方法进行了简要的分析与总结。

关键词：数据迁移 etl工具 SQL语句数据流转