检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

多数据源近似重复记录增量式识别方法仿真

计算机仿真 2020年第8期37卷 362-365,423页

作者：蒙芳翟建丽广东工业大学华立学院广东广州511325

在进行数据录入的过程中,经常会发生录错、数据源表现各异等状况。因而针对传统的多数据源近似重复记录增量式识别方法存在执行时间较长、查准率、查全率较低等问题,提出了一种基于MapReduce编程模型的多数据源近似重复记录增量式识别... 详细信息

在进行数据录入的过程中,经常会发生录错、数据源表现各异等状况。因而针对传统的多数据源近似重复记录增量式识别方法存在执行时间较长、查准率、查全率较低等问题,提出了一种基于MapReduce编程模型的多数据源近似重复记录增量式识别方法。引用基本近邻排序方法将数据集中的记录按照设定的关键字进行排序,在排序后的数据集上移动一个固定大小的窗口,检测该窗口内的记录,并判断它们是否匹配。匹配结果通过MapReduce编程模型进行排序整合,采用跳动窗口进行重复数据记录识别,获取最终的识别结果。实验结果表明,所提方法在确保重复数据识别精度的基础上,有效节省了识别时间。

关键词：多数据源近似重复记录增量式识别方法

在线全文

学校读者我要写书评

暂无评论

多数据源冲突的主数据真值发现算法

计算机工程与设计 2014年第1期35卷 177-182页

作者：王继奎李少波中国科学院成都计算机应用研究所四川成都610041 贵州I大学现代制造技术教育部重点实验室贵州贵阳550003 兰州商学院信息工程学院甘肃兰州730020

为了解决多数据源冲突的主数据真值发现问题,基于对冲突数据值之间的支持度往往是非对称的直观认识,提出了一种非对称的数据值支持度计算算法;该算法改进了目前真值发现算法中以数据值之间的相似度代替支持度的对称算法。在考虑了数据... 详细信息

为了解决多数据源冲突的主数据真值发现问题,基于对冲突数据值之间的支持度往往是非对称的直观认识,提出了一种非对称的数据值支持度计算算法;该算法改进了目前真值发现算法中以数据值之间的相似度代替支持度的对称算法。在考虑了数据值的可信度取决于数据源权威度和数据值支持度的基础上,提出了TRFinder迭代算法,并在TRFinder算法的基础上给出了主数据生成算法。通过对典型的books_authors数据集和模拟数据进行实验,实验结果表明,TRFinder算法比Vote算法与TruthFinder算法具有更高的准确率并保留了更多的真值信息,验证了算法的有效性。

关键词：多数据源真值发现主数据集成数据值支持度数据冲突

在线全文

学校读者我要写书评

暂无评论

多数据源层次化网络攻击路径长度预测仿真

计算机仿真 2019年第11期36卷 432-435页

作者：张科贵州民族大学数据科学与信息工程学院

针对当前攻击路径长度预测方法存在网络攻击成功概率低,路径长度预测准确性差的问题,提出基于吸收Markov链的网络攻击路径长度预测方法。采用转移概率度量法对网络中节点访问的期望值展开分析,利用比例系数计算网络攻击图状态转移边的... 详细信息

针对当前攻击路径长度预测方法存在网络攻击成功概率低,路径长度预测准确性差的问题,提出基于吸收Markov链的网络攻击路径长度预测方法。采用转移概率度量法对网络中节点访问的期望值展开分析,利用比例系数计算网络攻击图状态转移边的概率比,以网络过渡状态下期望转移概率、非零矩阵等为基础分析网络攻击者从开始到达结束的概率,并计算网络受到攻击后,初始节点的转移概率,得到网络攻击的数学期望矩阵,利用上述矩阵计算网络节点访问次数的期望值总和,利用节点的转移次数计算网络攻击路径的期望长度,构建网络过渡状态下期望转移概率矩阵,通过对矩阵的求解,最终实现多数据源层次化网络攻击路径长度的预测。实验结果表明,提出方法在对多数据源层次化网络攻击路径长度预测时,网络目标节点的置信度较低,并且网络攻击成功概率较高,不仅验证了提出方法良好的性能,也提高了网络攻击路径长度预测的准确性。

关键词：多数据源层次化网络攻击路径长度预测

在线全文

学校读者我要写书评

暂无评论

多数据源中局部模式挖掘研究

合肥工业大学学报（自然科学版） 2013年第1期36卷 53-58页

作者：林耀进胡学钢合肥工业大学计算机与信息学院安徽合肥230009 漳州师范学院计算机科学与工程系福建漳州363000

数据的存储存在多源化,从多数据源中进行局部模式挖掘为不同层次决策提供服务是数据挖掘领域的一个研究热点。文章介绍了多数据源挖掘方法的研究进展,从数据源的划分、多种模式的挖掘、局部模式的合成等方面进行了详细的阐述和分析,并... 详细信息

数据的存储存在多源化,从多数据源中进行局部模式挖掘为不同层次决策提供服务是数据挖掘领域的一个研究热点。文章介绍了多数据源挖掘方法的研究进展,从数据源的划分、多种模式的挖掘、局部模式的合成等方面进行了详细的阐述和分析,并指出了多数据源挖掘的进一步研究方向。

关键词：多数据源局部模式模式合成

基于ELK构建图书馆多数据源日志管理分析平台

在线全文

学校读者我要写书评

暂无评论

新世纪图书馆 2022年第2期 68-74页

作者：王大阜邓志文贾志勇安计勇中国矿业大学图书馆江苏徐州221116 中国矿业大学计算机科学与技术学院江苏徐州221116

论文针对图书馆日志多数据源且格式多样化导致的日志处理效率低下的问题,提出了基于ELK的日志综合解决方案。该方案首先探讨了日志采集、数据清洗、日志解析的规则和技巧以及基于TF-IDF、SVM算法设计的日志异常检测模型;其次基于提出方... 详细信息

论文针对图书馆日志多数据源且格式多样化导致的日志处理效率低下的问题,提出了基于ELK的日志综合解决方案。该方案首先探讨了日志采集、数据清洗、日志解析的规则和技巧以及基于TF-IDF、SVM算法设计的日志异常检测模型;其次基于提出方案的整体架构,详细地分析了日志采集、存储、可视化、异常检测的整个流程;最后,将该方案应用于中国矿业大学OPAC系统,对读者用户的检索行为、不良用户的攻击行为进行可视化分析。实验结果表明,论文提出的日志管理解决方案,在集群模式下检索性能极其高效,有效地提高了图书馆日志的处理能力。

关键词： ELK 多数据源日志采集可视化 OPAC

在线全文

学校读者我要写书评

暂无评论

基于多数据源的电网故障诊断方法

基于多数据源的电网故障诊断方法

作者：季金杰山东大学

学位级别：硕士

在《中国制造2025》这一行动纲领的领导下,电力行业已成为我国走向制造业强国的冲锋号、排头兵,电力系统的安全与稳定也因此关乎着我国发展的大局。电网作为电力系统中极其重要的组成部分,承担着输送与分配电能的重要作用。由于电网的... 详细信息

在《中国制造2025》这一行动纲领的领导下,电力行业已成为我国走向制造业强国的冲锋号、排头兵,电力系统的安全与稳定也因此关乎着我国发展的大局。电网作为电力系统中极其重要的组成部分,承担着输送与分配电能的重要作用。由于电网的线路往往要穿越祖国大地各处的山川河流,面临着复杂多变的运行环境,在运行过程中会不可避免的因各类因素导致事故。对电网进行故障诊断是处理复杂多变的各类事故的重要前提。随着电网故障诊断方法与电力系统领域各项自动化技术的发展,可供故障诊断使用的数据源不断增多,包括断路器开关量信息,保护动作信息,断路器在线监测信息,保护装置告警信息及故障录波数据等众多数据源。如何综合利用海量的数据信息进行故障诊断,以达到快速性、准确性的要求,并尽量多地反映故障细节,以便检修和电网自愈工作的开展,成为了电力行业亟需解决的现实问题。结合以上实际,本文在对国内外故障诊断领域各方法总结的基础上,对采用多数据源的电网故障诊断系统及方法展开了进一步的研究,将完整的诊断系统分为三个子系统,通过它们的互相配合以完成诊断工作。主要工作内容如下:1、提出了一种电网故障诊断实时处理子系统及其处理方法。实时处理子系统主要处理事故级信息,即保护动作信息和断路器跳闸信息。事故级信息是由各变电站端实时上报的,因此本系统在调度端对数据采取实时处理的方式,以极快速率对电网故障展开诊断。实时处理子系统基于面向对象的电网信息表示方法,通过可疑故障元件初步搜寻,电网故障预诊断,故障元件判定及相关保护与断路器动作分析,信息缺失分析等具体流程,在对信息实时响应完成故障诊断的同时,筛选出不正确动作的保护装置和断路器,并对相关信息丢失情况进行分析。2、提出了一种电网故障追踪准实时处理子系统及其处理方法。准实时处理子系统主要处理预告级信息。预告级信息主要包括断路器在线监测信息和保护装置告警信息,该信息在变电站端以轮询的方式进行采样,并不上报调度端。当断路器及保护不正确动作信息由调度端传输至厂站端时,位于变电站端的准实时处理系统启动,根据预告级信息对本站内发生误动或拒动的保护装置和断路器展开故障追踪,在考虑部分预告级信息丢失问题的情况下,输出断路器或保护装置不正确动作的原因。3、提出了一种电网故障诊断批处理子系统及其处理方法。批处理子系统主要处理变电站上传的录波文件。由于录波文件所需存储较大、实时性要求不高,本子系统通过故障录波信息网,将录波文件以成批的多组文件形式输入,以工作流的方式对其进行调度处理,对实时处理系统的诊断结果进行核验修正,并输出故障相别、故障类型、故障位置及故障时间等故障细节。4、提出一种基于多数据源的电网故障诊断系统,将上述三大子系统通过时序和逻辑上的联系结合起来。将故障诊断系统在Pycharm2020中进行了实现,并对具体故障算例进行了仿真测试。后续与相关的其他故障诊断方法进行了比较。结果表明,该故障诊断系统能符合工程实际运用的需求,并在综合运用各类信息源、处理部分信息丢失等复杂情况下有着相当的优势。

关键词：多数据源故障诊断故障追踪部分信息丢失

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

多数据源模式下遥感数据分发与共享策略研究

多数据源模式下遥感数据分发与共享策略研究

作者：张帅民河南大学

学位级别：硕士

随着遥感技术的快速发展,遥感影像数据总量在迅速的增加,遥感数据作为遥感应用的基础,在城镇化建设、地质灾害等领域得到了广泛的应用,各个科研机构、各地方高校等对遥感数据的需求急剧增加。因此,如何使用户快速的获取到遥感数据是目... 详细信息

随着遥感技术的快速发展,遥感影像数据总量在迅速的增加,遥感数据作为遥感应用的基础,在城镇化建设、地质灾害等领域得到了广泛的应用,各个科研机构、各地方高校等对遥感数据的需求急剧增加。因此,如何使用户快速的获取到遥感数据是目前很多学者共同研究的一个问题。针对上述问题,本文在现有的遥感数据传输体系架构和遥感数据传输技术的基础上,对现有的遥感数据分发与共享结构进行了改进,将单一数据源进行扩展,构成多数据源模式,进行了多数据源模式下遥感数据分发与共享策略研究,目的就是在于能够快速的实现遥感数据分发与共享,使各区域用户快速的获取到遥感数据,满足各区域用户对遥感数据的应用需求。本文的主要研究内容包括以下几个方面:1.提出数据分发中心主动扩容方法。首先,通过数据映射规则预先判断出需要推送的数据;其次,通过数据推送方法,将需要推送的数据推送到扩展的数据分发中心,将扩展的数据分发中心也作为数据源,构成多个数据源,提高数据传输效率。2.构建数据资源索引数据库。通过构建数据资源索引数据库,统一管理各数据分发中心的数据信息及节点信息,对外提供统一的查询等服务接口,根据用户请求的数据信息在数据库中进行查找,获取数据在各数据分发中心的存储路径信息。3.提出一种多数据源数据并行传输方法。在传输过程中,动态的调整每个数据源传输的数据块任务量,从多个数据源并行获取数据块,提高数据传输速率并且采用断点续传方法保证下载数据的完整性。最后,在研究内容的基础上,对本文提出的多数据源数据并行传输方法进行了实验验证。通过对实验结果进行分析,表明了本文研究内容的可行性和有效性。

关键词：多数据源遥感数据主动扩容并行传输

考虑储能配置模式的多数据源融合分布式光伏发电并网接纳分析方法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

高电压技术 2018年第4期44卷 1093-1098页

作者：陶琼王德顺叶季蕾薛金花张慧明中国电力科学研究院有限公司南京210003 国网山西省电力公司阳泉供电公司阳泉045000

分布式光伏（PV）通常并入配电网,其大规模并网发电将对配电网的安全运行带来挑战,研究分布式光伏发电消纳能力已成为发展分布式光伏的重要内容。针对配电网信息不完整的情况,提出了一种考虑储能配置模式的多数据源融合分布式光伏发电... 详细信息

分布式光伏（PV）通常并入配电网,其大规模并网发电将对配电网的安全运行带来挑战,研究分布式光伏发电消纳能力已成为发展分布式光伏的重要内容。针对配电网信息不完整的情况,提出了一种考虑储能配置模式的多数据源融合分布式光伏发电并网接纳分析计算方法,融合来自电网调度系统、配电自动化系统、分布式发电监控系统的实时量测数据及历史数据,计量、营销、负控等系统的电量数据及历史数据,补全了分布式电源并网接纳能力分析模型。考虑电网侧、分布式发电侧等不同配置模式下储能参与电网电压调节的能力,并以电压偏差及电压波动指标作为定量计算的目标值,短路电流、支路载流量等安全性指标作为约束,经济性和可靠性指标作为校验,进行接纳能力分析。最后通过实际配电网算例验证了所提方法的有效性和可行性,结果表明,储能配置在电网侧较配置在分布式发电侧对提高配电网分布式光伏消纳效果更明显,分布式光伏消纳能力可以提高42.5%。

关键词：分布式光伏接纳能力配电网多数据源储能配置模式电压控制

基于改进的ccLDA多数据源热点话题检测模型

在线全文

学校读者我要写书评

暂无评论

工程科学与技术 2018年第2期50卷 141-147页

作者：陈兴蜀马晨曦王文贤高悦王海舟四川大学网络空间安全学院四川成都610065 四川大学计算机学院四川成都610065 四川大学网络空间安全研究院四川成都610065

目前,跨文本集的话题发现模型(cross-collection LDA,ccLDA)只适用于各个数据源话题相似度很高的场景,而且其全局话题和每个数据源的局部话题会强制对齐,存在词语稀疏的问题。针对ccLDA模型中的不足,提出了改进的跨文本集话题发现模型(i... 详细信息

目前,跨文本集的话题发现模型(cross-collection LDA,ccLDA)只适用于各个数据源话题相似度很高的场景,而且其全局话题和每个数据源的局部话题会强制对齐,存在词语稀疏的问题。针对ccLDA模型中的不足,提出了改进的跨文本集话题发现模型(improved ccLDA,IccLDA)。该模型在采样时先判断词语属于全局话题还是局部话题,再分别进行采样,避免了ccLDA模型中全局话题和局部话题必须对齐的缺点,进而降低了词语在全局话题和局部话题的分散程度,使该模型可以适用于多数据源的场景。在公开数据集上进行了多数据源文本集的话题发现实验,并进行了话题比较性分析。实验结果表明,在设置不同的话题数时,IccLDA模型的困惑度值均低于LDA模型和ccLDA模型,表明IccLDA模型具有更优的建模能力。最后,在真实数据集上开展了进一步实验验证,证明了本文提出的改进模型不仅建模能力优于原始模型,还可以有效地发现各个数据源讨论的公共话题和每个数据源讨论的局部话题,更适用于多数据源场景的文本话题发现。

关键词：话题检测话题模型 LDA 多数据源 IccLDA