检索结果-南通市图书馆

一种deep web数据源下重复记录识别模型(英文)

在线全文

学校读者我要写书评

暂无评论

Journal of Southeast University(English Edition) 2008年第3期24卷 315-317页

作者：刘丽楠寇月孙高尚申德荣于戈东北大学信息科学与工程学院沈阳110004

使用deep web数据源下重复记录识别模型对从多个deep web数据源中抽取出来的半结构化和无结构化的数据进行处理.首先,在数据预处理模块中将所抽取的数据生成实体记录的形式,然后,在异构记录处理模块中利用在同构记录处理模块所得到的权... 详细信息

使用deep web数据源下重复记录识别模型对从多个deep web数据源中抽取出来的半结构化和无结构化的数据进行处理.首先,在数据预处理模块中将所抽取的数据生成实体记录的形式,然后,在异构记录处理模块中利用在同构记录处理模块所得到的权值,计算各实体记录的相似度,得到重复记录.与传统的重复记录识别模型不同,所提方法是在模式匹配未知的前提下实现的;并且采用带有可选算法的多个相似度估算器以达到更好的匹配效率.实验证明,该重复记录识别模型是可行且有效的.

关键词：重复记录 deep web 数据清洗半结构化数据

大数据相似重复记录检测算法在试题库中的运用

在线全文

学校读者我要写书评

暂无评论

成都工业学院学报 2023年第1期26卷 66-69页

作者：胡小琴潘锦锋泉州信息工程学院软件学院福建泉州362000

为了提高试题库中重复信息自动化检测能力,提出面向试题库建设的大数据相似重复记录检测算法。采用大数据分析方法,构建试题库大数据相似重复记录分布模型,获取随机链路中重复记录的分布区间,采用层次关系入度集特征监测的方法,分析试... 详细信息

为了提高试题库中重复信息自动化检测能力,提出面向试题库建设的大数据相似重复记录检测算法。采用大数据分析方法,构建试题库大数据相似重复记录分布模型,获取随机链路中重复记录的分布区间,采用层次关系入度集特征监测的方法,分析试题库大数据相似重复记录特征结构,根据获取的统计特征量,基于空间网格聚类方法对试题库大数据的相似重复记录进行融合处理,根据处理结果,在空间坐标系中实现大数据相似重复记录的检测。仿真实验结果表明,所提算法进行试题库的大数据相似重复记录检测的错误率较低,时间开销较小。

关键词：大数据相似度重复记录检测算法试题库设计数据聚类

改进量子粒子群算法优化神经网络的数据库重复记录检测

在线全文

学校读者我要写书评

暂无评论

计算机应用与软件 2014年第3期31卷 20-21,115页

作者：陈芬宿迁学院计算机科学系江苏宿迁223800

为了提高数据库重复记录检测效果,提出一种改进量子粒子群优化算法(IQPSO)优化BP神经网络的数据库相似重复记录检测模型(IQPSO-BPNN)。首先计算记录字段间的相似度,组成特征向量;然后采用IQPSO算法优化BP神经网络进行学习,建立最优相似... 详细信息

为了提高数据库重复记录检测效果,提出一种改进量子粒子群优化算法(IQPSO)优化BP神经网络的数据库相似重复记录检测模型(IQPSO-BPNN)。首先计算记录字段间的相似度,组成特征向量;然后采用IQPSO算法优化BP神经网络进行学习,建立最优相似重复记录检测模型,最后通过仿真实验对IPSO-BPNN的性能进行测试。实验结果表明,IQPSO-BPNN大幅度减少了数据库重复记录检测时间,提高了数据库重复记录检测精度。

关键词：数据库重复记录神经网络量子粒子群优化算法时变参数

在线全文

学校读者我要写书评

暂无评论

移动网络相似信息重复记录智能检测仿真

计算机仿真 2019年第2期36卷 439-442,468页

作者：谢毅上海市宝山区中西医结合医院上海201900

移动网络相似信息重复记录检测在专利分析系统中具有广泛的应用前景。针对当前方法存在检测耗时较长、查准率和查全率较低等问题,提出一种基于领域本体的移动网络相似信息重复记录智能检测方法,构建了一种三维的移动网络文本空间表示模... 详细信息

移动网络相似信息重复记录检测在专利分析系统中具有广泛的应用前景。针对当前方法存在检测耗时较长、查准率和查全率较低等问题,提出一种基于领域本体的移动网络相似信息重复记录智能检测方法,构建了一种三维的移动网络文本空间表示模型,对移动网络中相似信息重复记录文本集合中的文本向量进行结构化描述。在此基础上,基于领域本体分别对移动网络相似信息重复记录中的词语、句子和文本进行相似度检测,得到移动网络文本中任意两个句子的相似度特征矩阵。对移动网络文本中句子相似度特征矩阵进行遍历,选取其中相似度最大的句子组合,并将该组合所属行列从矩阵中删除,再从剩余矩阵中相似度最大的句子组合筛选出来,以此类推,直到句子中的元素数目变为0,提取获得相似度最大句子组合序列,根据该序列即可实现移动网络相似信息重复记录的智能检测。仿真测试结果表明,上述方法在移动网络相似信息重复记录相似度检测准确性上更具优势,具有较高的查准率和查全率,并且检测效率较高。

关键词：移动网络相似信息重复记录智能检测

Deep Web数据源下重复记录识别模型的研究

在线全文

学校读者我要写书评

暂无评论

Deep Web数据源下重复记录识别模型的研究

作者：刘丽楠东北大学

学位级别：硕士

World Wide Web(简称WWW,或Web网)自20世纪90年代发明以来就一直呈现蓬勃发展之势,到今天为止其蕴含着海量的丰富资源,包罗万象,是人类一笔宝贵的知识财产。Web网按其分布状况可以分为“表层网(Surface Web)"和“深层网(Deep Web)"。Dee... 详细信息

World Wide Web(简称WWW,或Web网)自20世纪90年代发明以来就一直呈现蓬勃发展之势,到今天为止其蕴含着海量的丰富资源,包罗万象,是人类一笔宝贵的知识财产。Web网按其分布状况可以分为“表层网(Surface Web)"和“深层网(Deep Web)"。Deep Web指那些存储在网络数据库里、不能通过超链接访问而需要通过动态网页技术访问的资源集合。根据调查,Deep Web中包含的信息量超过Surface Web上千倍,而且这个比例仍在持续地上升。为了能够有效利用Deep Web中丰富的信息,建立Deep Web数据集成系统成为了当前最迫切的需求。由于Web数据库的异质性和自主性,对从各个Web数据库中抽取结果的合并是一项十分具有挑战性的工作。为了对抽取结果进行清洗和去重,重复记录识别则是数据合并过程中的一个必不可少的环节。本文概要介绍了重复记录识别(即数据清洗和去重)问题及其应用,详细地阐述了实现重复记录识别的不同方法以及它们所应用的结构。针对已有的大多数的数据清洗方法主要是基于结构化的关系数据的局限性,本文提出一种处理从Deep Web数据源中抽取出的半结构化数据的重复记录识别模型。本模型主要由数据预处理模块、同构记录处理模块和异构记录处理模块组成。"Deep Web数据源下重复记录识别模型”利用数据集成过程中的基于特定领域的全局模式来分析不同数据源的实体记录值间的匹配关系,进而大大提高了计算实体记录间的相似度的准确性。在计算来自不同数据源的实体记录间的相似度时,本模型提供了一个可扩展的相似度算法库,并且在计算的过程中支持不同相似度算法相结合。在该模型中,新的相似度方法可以根据需要添加到相似度算法库中,并且针对不同领域可以制定不同的相似度计算策略和选择不同的相似度计算方法。实验表明,这种重复记录识别模型在Deep Web环境下是可行且有效的。

关键词：重复记录深层Web 数据清洗半结构化数据全局模式

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种识别相似重复记录的模糊匹配方法

计算机应用与软件 2009年第11期26卷 183-185,192页

作者：肖满生江力刘有势湖南工业大学理学院湖南株洲412008

针对多数据源集成中存在的相似重复记录的问题,提出了一种基于用户兴趣度分组的模糊匹配识别方法。首先通过用户兴趣度方法来计算属性的权值,然后按照数据分组思想,选择权值大的属性将数据集分割成不相交的小数据集,最后在各小数据集中... 详细信息

针对多数据源集成中存在的相似重复记录的问题,提出了一种基于用户兴趣度分组的模糊匹配识别方法。首先通过用户兴趣度方法来计算属性的权值,然后按照数据分组思想,选择权值大的属性将数据集分割成不相交的小数据集,最后在各小数据集中用模糊匹配算法进行相似重复记录的识别,为了提高识别效率,可选择余下权值大的属性进行多次分组和识别。理论和实践表明,该方法有较高的识别效率,能有效解决数据集成中相似重复记录的识别问题。

关键词：模糊匹配重复记录数据分组数据集

在线全文

学校读者我要写书评

暂无评论

铝电解监控系统重复记录辨识与噪音识别算法

中南大学学报（自然科学版） 2004年第6期35卷 915-919页

作者：陈湘涛张建中李劼刘业翔中南大学冶金科学与工程学院湖南长沙410083 中南大学图书馆湖南长沙410083

在新型的铝电解网络监控系统中,需要对大量的监控数据构建数据仓库,为此,针对其重复记录的数据预处理问题进行了研究。在属性集的基础上,提出属性重复量、记录重复量等定义,并给出重复记录辨识的一般算法IRA及其推广算法GIRA;对重复记... 详细信息

在新型的铝电解网络监控系统中,需要对大量的监控数据构建数据仓库,为此,针对其重复记录的数据预处理问题进行了研究。在属性集的基础上,提出属性重复量、记录重复量等定义,并给出重复记录辨识的一般算法IRA及其推广算法GIRA;对重复记录集中的噪音处理,提出一种基于距离的噪音识别算法INA;以实例说明了算法的具体实现过程。

关键词：铝电解数据预处理属性集重复记录噪音识别算法

在线全文

学校读者我要写书评

暂无评论

利用重复记录预测公牛产奶量育种值

东北农业科学 1986年第4期38卷 63-67页

作者：刘松元柳楠李冀钊刘德军吉林省农业科学院畜牧研究所

本文引用当前国际先进的选种方法——(Rest Li(?) Unbiased Prediction)结合我国牛群育种的实践,提出利用母牛一生多胎次重复记录成绩,估计种公牛产奶量BLUP育种值的方法。

关键词：育种值重复记录种公牛胎次牛群奶牛育种 Prediction 校正系数母体效应遗传效应

在线全文

学校读者我要写书评

暂无评论

网上录取数据处理中重复记录去除程序的设计

微计算机信息 2012年第7期28卷 143-145页

作者：董国钢刘智珺武汉生物工程学院现代教育技术中心武汉生物工程学院计算机与信息工程系

针对新建高校(民办院校)招生网上录取后续数据处理过程中两种不同情况下的重复记录的去除,提出了两种不同的方法:一是直接将待追加(或汇总)源库添加进目标库,再在目标库中删除所产生的重复记录;二是先找出待追加(或汇总)源库与目标库重... 详细信息

针对新建高校(民办院校)招生网上录取后续数据处理过程中两种不同情况下的重复记录的去除,提出了两种不同的方法:一是直接将待追加(或汇总)源库添加进目标库,再在目标库中删除所产生的重复记录;二是先找出待追加(或汇总)源库与目标库重复的记录并删除,然后再将源库中全新数据记录添加到目标库。在此基础上简要分析了这两种方法的时间复杂度与在应用上的适应性。运用这两种方法有效地解决了作者在开发《高校招生网上录取数据现场处理系统》时面临的设计瓶颈,同时也为其他一些需要进行该类操作的场合提供了可供参考与借鉴的程序。

关键词：网上录取数据重复记录去除程序设计