检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

表格数据结构化转换方法的研究

表格数据结构化转换方法的研究

作者：郝泽兴内蒙古师范大学

学位级别：硕士

生活中有结构化、半结构化和非结构化三类数据。相比于结构化数据,半结构化和非结构化数据具有较高的价值密度,但由于不能直接进行存储和分析,数据挖掘工作存在很多不便。表格数据在生活信息传递中占较大比重,内容丰富,是数据的重要承... 详细信息

生活中有结构化、半结构化和非结构化三类数据。相比于结构化数据,半结构化和非结构化数据具有较高的价值密度,但由于不能直接进行存储和分析,数据挖掘工作存在很多不便。表格数据在生活信息传递中占较大比重,内容丰富,是数据的重要承载形式。因此本文以表格数据为研究对象,针对图像型表格数据和电子表格数据的结构化转换方法进行了研究。通过对国内外相关文献进行深入分析,发现现有的数据结构化转换方法主要包括数据抽取和数据组织两个步骤。电子表格的数据抽取较为简单,只需要使用API（Application Programming Interface）将数据读取缓存即可。图像型表格的数据无法直接抽取,需要先将其转换为电子表格数据再完成数据抽取部分。数据组织则需要按照数据间的位置关系确定逻辑关系,在保持逻辑关系不变的前提下对数据进行处理,将其转换为符合数据库存储的结构化数据形式。为了将图像型表格数据重绘为电子表格数据,本文对表格图像的处理方法进行了设计。首先对图像进行倾斜校正,保证后续OCR（Optical Character Recognition）的识别效果;然后使用LSD（Line Segment Detector）算法检测表格中的直线特征,通过筛选确定表格框架的线特征信息;使用Harris算法获取图像型表格的角点特征,对结果进行聚类提高定位精度,基于线特性信息完成表格框架角点的剔除与提取;最后切分识别单元格图像,依据点、线及文字信息生成对应的电子表格。为了提高算法整体的抗干扰能力加入了边缘检测技术,对比检测效果后选定Canny算子为实验对象,针对其在实际应用中出现的问题进行了部分改进。在Python3.7.0环境下对改进算法进行了实验验证,结果表明本文算法对边缘的保护效果明显,图像处理的质量好,检测结果连接平滑,有效提高了边缘检测的效果,可以满足图像型表格的边缘检测需求。在电子表格数据结构化转换的过程中,把整体表格划分为索引区、标题区和数据区,通过Python提供的docx接口抽取各区内数据并记录数据间的逻辑关系,按照树形结构合并压缩标题区内容,遵循数据间的逻辑关系重新组织表格数据使之转换为结构化数据,将转换后的数据分别存储到XML文件和数据库中。测试结果表明,本文方法能够比较准确的完成图像型表格数据的特征信息提取,可以将图像型表格数据重绘为电子表格数据,电子表格数据可以进行结构化转换与存储。表格数据结构化转换的实现,为表格数据的有效利用奠定了良好基础。

关键词：表格数据边缘检测边窗高斯滤波特征检测数据结构化

变流器产品制造过程中的数据结构化研究与实现

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

内燃机与配件 2017年第3期 65-66页

作者：颜楚强株洲中车时代电气股份有限公司

在制造业中,生产过程中的加工数据、检查数据、试验数据三大类数据是整个制造过程的关键基础数据,掌握并运用好这三大类数据,可以促使企业生产过程质量提升和加工成本下降。文中重点介绍制造过程数据的现状及结构化实现方案,并以此建立... 详细信息

在制造业中,生产过程中的加工数据、检查数据、试验数据三大类数据是整个制造过程的关键基础数据,掌握并运用好这三大类数据,可以促使企业生产过程质量提升和加工成本下降。文中重点介绍制造过程数据的现状及结构化实现方案,并以此建立公司制造过程基础数据平台,实现制造过程数据结构化、信息化,为生产组织、质量管控提供数据基础,进而为生产过程的数据分析和质量预警提供条件。

关键词：制造过程过程数据数据结构化过程数据信息化

在线全文

学校读者我要写书评

暂无评论

基于正则抽取的竹种数据结构化方法研究

计算机技术与发展 2018年第6期28卷 147-150,155页

作者：李欣李绍稳许高建林建彬安徽农业大学信息与计算机学院安徽合肥230036

研究旨在通过基于规则的信息抽取技术解决竹类种质资源(简称竹种)数据的自动提取和结构化存储问题,为快速构建竹种数据库提出一种基于正则抽取模型的竹种数据结构化方法。该方法以竹种数据库表结构为抽取模板,以数据表属性名称为规则触... 详细信息

研究旨在通过基于规则的信息抽取技术解决竹类种质资源(简称竹种)数据的自动提取和结构化存储问题,为快速构建竹种数据库提出一种基于正则抽取模型的竹种数据结构化方法。该方法以竹种数据库表结构为抽取模板,以数据表属性名称为规则触发词,利用正则表达式构建抽取规则,构建正则抽取模型。以中国植物志在线版为实验对象,通过网页解析和字段抽取两步实现了竹种数据的自动抽取与结构化,实验抽取竹种信息五百多条,取数据表前八个字段进行抽样统计分析,抽取竹种有效字段信息准确率高达89%以上。实验结果表明,基于正则抽取的竹种数据结构化方法是可行有效的,并采用Java语言开发了竹种信息抽取系统,实现了该方法。

关键词：信息抽取正则表达式竹种数据数据结构化

在线全文

学校读者我要写书评

暂无评论

面向发电领域文本数据结构化方法研究与应用

工业控制计算机 2024年第9期37卷 1-3页

作者：蓝梦琦黄路遥魏宸傅骏伟俞佳雯杨晓蓉浙江浙能绍兴滨海热电有限责任公司浙江绍兴312073 浙江浙能数字科技有限公司浙江杭州310012 杭州电子科技大学浙江杭州310018

随着互联网的发展,发电领域从业者亟需利用智能化、自动化的手段来处理庞大的电力设备信息,而现有的标注工具难以支撑专业领域的文本数据标注工作以实现知识图谱的构建。因此基于深度学习设计了一种结合多种算法模型的文本数据结构化标... 详细信息

随着互联网的发展,发电领域从业者亟需利用智能化、自动化的手段来处理庞大的电力设备信息,而现有的标注工具难以支撑专业领域的文本数据标注工作以实现知识图谱的构建。因此基于深度学习设计了一种结合多种算法模型的文本数据结构化标注工具,优化语料标注过程,实现语料的精准标注,从而支持发电领域知识图谱的构建,优化电厂设备故障数据管理。基于真实电厂设备故障数据分析结果,验证了所提出的文本标注工具,为建立发电设备故障诊断可视分析系统提供极大可能性,有效地提高了电厂的设备管理能力和智能化层次。

关键词：语料标注数据结构化电力设备知识图谱

视频数据结构化在智能家居视频监控中的系统设计

在线全文

学校读者我要写书评

暂无评论

通信与广播电视 2020年第1期 47-51页

作者：刘志欢张楷龙南京熊猫电子制造有限公司

当今人们对家庭的安防意识显著增强,越来越多的智能家居视频监控系统得到广泛运用,但由于视频监控系统数据流较大,用户不能快速有效提取出有用的信息,因此本文提出将视频数据结构化与智能家居监控系统相结合的设计,首先对该设计进行硬... 详细信息

当今人们对家庭的安防意识显著增强,越来越多的智能家居视频监控系统得到广泛运用,但由于视频监控系统数据流较大,用户不能快速有效提取出有用的信息,因此本文提出将视频数据结构化与智能家居监控系统相结合的设计,首先对该设计进行硬件技术分析,并在此基础上对系统功能进行设计,通过多计算的方式提高对视频数据进行结构化分析能力。

关键词：嵌入式系统视频监控数据结构化人脸检测与识别多计算

基于政务数据结构化提升政府网站服务能力——以湖北省政府客户端应用小程序为例

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

新闻前哨 2018年第6期 10-12页

作者：李希帆湖北省政府网信息采集中心

目前,我国信息数据资源80%以上掌握在各级政府部门手里。随着"互联网+政务服务"的深入推进,政府部门之间信息孤岛、数据壁垒问题进一步得到解决,一些地方"最多跑一次"、"不见面审批"、"五全服务"等创新模式不断涌现,政府网站提供的政务... 详细信息

目前,我国信息数据资源80%以上掌握在各级政府部门手里。随着"互联网+政务服务"的深入推进,政府部门之间信息孤岛、数据壁垒问题进一步得到解决,一些地方"最多跑一次"、"不见面审批"、"五全服务"等创新模式不断涌现,政府网站提供的政务服务成为行政审批改革中公众最直接的"获得感"。本文探讨的并非政务服务网提供的"一站式"政务服务,而是政府网站编辑每天从大量的碎片化政务信息中,如何通过结构化数据打造轻量级政务服务,改进用户体验,提升政府网站服务能力。

关键词：政务数据政务信息数据结构化网站服务

基于Hadoop的电力用户地址数据结构化及存储技术研究

在线全文

学校读者我要写书评

暂无评论

现代信息科技 2019年第20期3卷 115-118页

作者：谢辉陈超许卓中国南方电网有限责任公司

随着我国电力客户服务系统业务的快速增长,用户地址数据量不断提升。由于传统的电力用户地址的输入比较随意,导致地址数据多源、格式不一致等问题的出现。因此我们需要对数据进行结构化改造。随着我国电网信息化、智能化进程的不断推进... 详细信息

随着我国电力客户服务系统业务的快速增长,用户地址数据量不断提升。由于传统的电力用户地址的输入比较随意,导致地址数据多源、格式不一致等问题的出现。因此我们需要对数据进行结构化改造。随着我国电网信息化、智能化进程的不断推进,电力企业如何实现电力用户地址的结构化与统一化成为了当前首要解决的问题。本文着重从电力用户地址优化的方向出发,对传统的电力用户地址如何进行结构化的改造进行了分析,并提出了大数据存储的方法。

关键词：电力用户地址优化数据结构化存储技术

在线全文

学校读者我要写书评

暂无评论

试论报刊文艺副刊历史数据结构化

新闻潮 2023年第5期 56-59页

作者：赵桂香吉林日报社

很多报刊的文艺副刊历史数据规模庞大、质量上乘，如果利用技术手段将其数字化、数据化、结构化，就能转化为既可通过互联网浏览检索，又可打通历史数据与日常采编大数据平台的数据资产，从而唤醒和提升其生命活力。本文从文艺副刊历史... 详细信息

很多报刊的文艺副刊历史数据规模庞大、质量上乘，如果利用技术手段将其数字化、数据化、结构化，就能转化为既可通过互联网浏览检索，又可打通历史数据与日常采编大数据平台的数据资产，从而唤醒和提升其生命活力。本文从文艺副刊历史数据结构化的必要性入手，探讨其成效及存在的问题，并提出相应建议，以期为发掘报刊存量价值、创造增量价值抛砖引玉。

关键词：文艺副刊数据结构化媒体数据库开放式创新

大数据背景下警务云结构化数据建设的若干思考

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

广州市公安管理干部学院学报 2018年第1期28卷 13-18页

作者：冯超中国刑事警察学院

随着警务信息化的不断发展,警务数据量和信息化应用需求的不断增长,现行硬件构架和服务模式已难以满足警务应用需求,警务信息的'云'化已是势在必行。目前,公安机关信息化应用大致可分为信息查询、交叉比对、关系分析、排查分析、数据挖... 详细信息

随着警务信息化的不断发展,警务数据量和信息化应用需求的不断增长,现行硬件构架和服务模式已难以满足警务应用需求,警务信息的'云'化已是势在必行。目前,公安机关信息化应用大致可分为信息查询、交叉比对、关系分析、排查分析、数据挖掘等五类。数据分析的方式通常分为直接提供和间接获取两种方式。为更好地提供数据服务,打破现有数据结构和存储方式造成的服务瓶颈,可进行数据重构等方式进行存储,而对于警务工作的需求,云平台应该提供数据检索、集合、可视化、建立档案等应用服务。

关键词：警务数据结构化信息应用侦查