检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

复杂数据可视化的研究与应用

复杂数据可视化的研究与应用

作者：秦隆电子科技大学

学位级别：硕士

随着通信技术以及移动网络的发展,通信所产生的数据量大幅上升,通信相关的复杂数据中往往包含大量的信息,这些信息反映了实际社会的人际关系特征以及消息流动规律,根据这些特征和规律,可以进行很多例如产品推荐以及社会安全监视的工作... 详细信息

随着通信技术以及移动网络的发展,通信所产生的数据量大幅上升,通信相关的复杂数据中往往包含大量的信息,这些信息反映了实际社会的人际关系特征以及消息流动规律,根据这些特征和规律,可以进行很多例如产品推荐以及社会安全监视的工作。但是,通信网络的用户众多,消息的产生速度非常快,这就需要专业的数据分析处理工具进行相关数据的处理分析。本文针对这一实际问题进行了系统化的研究和工程实践探索,具体工作如下:1.探索多维度复杂通讯数据的可视化。为了对复杂数据进行分析处理,将数据进行可视化,主要的可视化方法是无向图,将通讯数据中的参与者抽取为节点,将数据中的关系抽取为连线,最后将整个数据集可视化为一个无向图代表的数据关系网络。2.提出基于多网融合的网络通联关系扩展算法以及基于命名实体发现的网络通联关系扩展算法。网络的通联关系代表了网络的连通性,在连通性较好的网络中,图的连通度高,节点与节点之间的通路数量多,对网络中消息流动以及基于网络消息流向的预测和推荐工作越准确。基于多网络融合的网络通联关系扩展使用多个网络,分析网络间映射,对网络的连通性进行扩展,基于命名实体识别的网络通联关系扩展从单个网络中提取出可以扩展网络的命名实体,将命名实体与网络的关系信息加入,扩展网络连通性。3.提出基于地理位置聚类的快速社团发现算法。网络的社团特点是社团中的节点连线较密而社团间的连线较稀疏,传统的社团发现算法按照网络节点的关系信息进行社团划分,这样的社团发现算法丢失了网络中节点的线下重要信息—地理位置。基于地理位置聚类的快速社团发现算法在原有的社团发现算法的基础上,提前进行网络的地理位置分析,既可以加快社团发现算法的收敛速度,也可以加入地理位置对社团分布的影响。4.设计和实现了一套复杂数据可视化分析系统。该系统首先对数据库中的数据进行数据缩减,过滤出用户感兴趣的数据,然后将数据从多个角度进行可视化,使用上述算法对网络结构进行分析,从可视化的结果中计算网络参与者的影响力,基于影响力计算结果进行宣传广告工作。

关键词：可视化关系网络复杂数据

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

复杂数据下半参数模型的统计估计和变量选择

复杂数据下半参数模型的统计估计和变量选择

作者：杨凌霞北京化工大学

学位级别：硕士

在回归分析中,如何从众多的解释变量中筛选出重要变量,对简化模型、提高模型的解释能力十分重要。本文主要研究因变量存在缺失且协变量部分包含测量误差情况下,变系数部分线性模型进行参数估计和变量选择。文中利用半参数回归插补方法... 详细信息

在回归分析中,如何从众多的解释变量中筛选出重要变量,对简化模型、提高模型的解释能力十分重要。本文主要研究因变量存在缺失且协变量部分包含测量误差情况下,变系数部分线性模型进行参数估计和变量选择。文中利用半参数回归插补方法来处理缺失数据,采用误差校正方法来修正协变量中的测量误差,并结合SCAD惩罚对参数进行估计和变量选择。并且在给定正则条件下可以证明所得的估计是相和的且变量选择结果具有Oracle性质。通过数值模拟进一步研究所得参数估计的有限样本性质,模拟结果表明该方法可以很好地估计模型参数并有效地筛选出重要变量。本文还考虑了在协变量有缺失情况下变系数部分线性模型的复合分位数估计,本文采用逆概率加权方法来处理缺失数据,并且在缺失函数未知情况下采用核估计方法对缺失函数进行估计,通过MM算法来最小化复合分位数损失函数,并在不同误差分布以及不同缺失机制情形下进行了数据模拟,数据模拟结果表明当误差分布正态时复合分位数回归能得到更有效的估计。

关键词：变量选择复杂数据半参数模型 SCAD惩罚复合分位数回归

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

团粒结构分析法:一种复杂数据分析方法

数学的实践与认识 2024年第2期54卷 143-151页

作者：姜懋张永光刘卓军中国科学院大学中国科学院数学与系统科学研究院北京100190 中国科学院数学与系统科学研究院北京100190

数据里变量之间存在复杂联系,传统的数理统计方法已经不能解决问题,很多实际问题对数据处理提出了更高的要求.针对具有维度高,变量之间关联复杂,群组效应显著等特征的复杂数据提出了一个新的复杂数据处理方案:通过分析数据各变量之间的... 详细信息

数据里变量之间存在复杂联系,传统的数理统计方法已经不能解决问题,很多实际问题对数据处理提出了更高的要求.针对具有维度高,变量之间关联复杂,群组效应显著等特征的复杂数据提出了一个新的复杂数据处理方案:通过分析数据各变量之间的关联关系,找出具有群组效应的若干变量构成的变量簇,称其为团粒.为了有效地发现团粒,还提出了GC算法,用以获取若干具有群组效应的变量组.在发现团粒以后,通过分析团粒内部变量之间的相互关联,得到了反映团粒特征的内核变量.并通过实例分析说明该方法能有效地分析复杂数据变量之间的关联性.

关键词：复杂数据团粒群组效应 GC算法团粒结构内核变量

基于本地化差分隐私的复杂数据频繁项集挖掘研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于本地化差分隐私的复杂数据频繁项集挖掘研究

作者：刘海江内蒙古大学

学位级别：硕士

频繁项集挖掘是一项基本的数据挖掘任务,并且在关联规则算法中也发挥着重要的作用。然而在挖掘过程很有可能将用户的个人信息泄露,从而给用户造成了一定的损失。近几年,将差分隐私保护模型应用到频繁项集挖掘是一种较为常见且可靠的保... 详细信息

频繁项集挖掘是一项基本的数据挖掘任务,并且在关联规则算法中也发挥着重要的作用。然而在挖掘过程很有可能将用户的个人信息泄露,从而给用户造成了一定的损失。近几年,将差分隐私保护模型应用到频繁项集挖掘是一种较为常见且可靠的保护方式,其中大多数论文是针对中心化差分隐私提出的而较少的论文将本地化差分隐私应用到频繁项集挖掘。本地化差分隐私的优势在于用户在客户端先将原始数据进行扰动,再将扰动后的数据发送给第三方服务器,这样就可以防止第三方服务器将用户数据泄露的问题,进而提高用户数据的保护程度。目前而言,还没有一个完整的框架能够将本地化差分隐私应用于频繁项集挖掘任务中,并且存在挖掘过程通信代价较高以及挖掘结果的精确度较低的问题。为了解决以上问题,本文提出了相对应的解决方案:（1）提出了一个完整的将本地化差分隐私应用于频繁项集挖掘的方法,并且适用于用户数据类型较为复杂的情况。该框架用户首先将原始数据利用位图编码将其映射为0和1的二进制串,针对用户多属性的情况提出了阈值随机扰动（Threshold Random Response,TRR）算法实现了对不同的属性选择最佳的扰动方式使得数据的可用性最好。用户首先将扰动后的数据发送给第三方服务器,服务器对收集后的数据进行无偏估计,然后再使用FP-Tree进行频繁项集挖掘。最后通过实验验证了该框架的可行性,以及TRR算法优于之前存在的频繁项集挖掘扰动算法,TRR在相同的扰动程度下得到的结果更加精确。（2）提出了一种满足本地化差分隐私的哈达玛响应（Hadamard Response,HR）算法并应用于频繁项集的挖掘过程。该算法利用了哈达玛矩阵的方式将用户数据进行映射和存储,适当增加了用户输出可能的取值范围以及将映射后的字符串进行均匀采样。如果用户的阈值为6),则通信代价由（6）)减少到（7）2)6))并且结果的精确度也得到了一定的提高。最后通过实验将哈达玛响应算法与之前的频繁项集挖掘扰动算法进行了对比,结果发现哈达玛响应算法的通信代价最低并且结果的可用性也较高。

关键词：本地化差分隐私频繁项集挖掘复杂数据 TRR 哈达玛随机响应

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

毁伤仿真复杂数据建模与高效访问

毁伤仿真复杂数据建模与高效访问

作者：赵占阳北京理工大学

学位级别：硕士

随着计算机仿真技术的发展,为了更加逼真地对现代战场上导弹对目标的毁伤过程进行仿真,该过程中涉及到的数据模型无论在种类上还是数量上都在不断增大,而且复杂程度也越来越高,而为了更加实时地仿真这一毁伤过程,对存有复杂数据模型的... 详细信息

随着计算机仿真技术的发展,为了更加逼真地对现代战场上导弹对目标的毁伤过程进行仿真,该过程中涉及到的数据模型无论在种类上还是数量上都在不断增大,而且复杂程度也越来越高,而为了更加实时地仿真这一毁伤过程,对存有复杂数据模型的数据库在访问效率上也提出了更高的要求。因此,毁伤仿真复杂数据建模与高效访问的研究随之提出,用来实现毁伤仿真过程中对数据库的高效访问。本论文的主要工作如下:(1)研究基于E-R模型的毁伤仿真多维数据建模方法。针对导弹爆炸冲击波对舰船舱室的毁伤仿真过程,首先建立该过程所涉及到的E-R模型,然后在该模型的基础上按照一定的步骤建立多维数据模型,最终生成的是该毁伤仿真过程所对应的星型多维数据模型。(2)研究多维数据模型的降维方法。先前建立的多维数据模型在维度上可能还是有些复杂,为了能够更方便地将其存放到关系型数据库中,对其进行了降维的操作,即在维度上对原多维数据模型进行精简,最终生成了新的星型多维数据模型。(3)研究基于存储过程的数据库访问性能优化的方法。在存储过程的基础上对数据库的访问性能进行逻辑优化和物理优化,分析哪些数据表上需要使用存储过程,并将普通的物理优化方法(视图、索引等)跟存储过程的使用结合起来,以此来获得对数据库的更高的访问效率。(4)结合具体的毁伤仿真分析系统,重点研究经过复杂数据建模和数据库访问性能优化后系统在运行过程中对所建立数据库的访问过程,并对最终结果进行分析。

关键词：复杂数据多维数据模型降维 E-R模型高效访问

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

复杂数据上的实体识别综述

计算机科学与应用 2021年第5期11卷 1588-1597页

作者：王诗怡贺萍河北经贸大学信息技术学院河北石家庄

复杂数据的数据量大和数据源不同的特征导致在挖掘复杂数据中的潜在价值时,需要利用实体识别技术。实体识别技术能实现对传统数据进行完整刻画、对数据质量进行管理的重要操作。而在复杂数据进行实体识别具有识别效果差、识别精度不高... 详细信息

复杂数据的数据量大和数据源不同的特征导致在挖掘复杂数据中的潜在价值时,需要利用实体识别技术。实体识别技术能实现对传统数据进行完整刻画、对数据质量进行管理的重要操作。而在复杂数据进行实体识别具有识别效果差、识别精度不高等问题。本文首先从应用领域的角度探讨复杂数据上的实体识别技术,包括社交网络领域的敏感实体识别、军事领域的目标实体识别、商业领域的商情实体识别。其次,对不同领域中的各个实体识别常用方法进行对比,分析了各个方法的问题与不足。最后,对在不同领域中进行实体识别的难点进行总结。

关键词：复杂数据实体识别敏感实体目标实体商情实体

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

基于无监督学习的复杂数据异常检测算法研究

基于无监督学习的复杂数据异常检测算法研究

作者：黄永钦国防科技大学

学位级别：硕士

异常检测指的是对不匹配预期模式或偏离正常模式的数据的识别,在网络安全、金融、生物医疗等多个领域中都具有广泛的应用,并且发挥出了重要的作用。由于获取高质量带标签数据的代价越来越高,而且在不使用标签等有效信息的情况下,对异常... 详细信息

异常检测指的是对不匹配预期模式或偏离正常模式的数据的识别,在网络安全、金融、生物医疗等多个领域中都具有广泛的应用,并且发挥出了重要的作用。由于获取高质量带标签数据的代价越来越高,而且在不使用标签等有效信息的情况下,对异常的识别更加困难,因此,基于无监督学习的异常检测算法更符合实际需求而且更具有挑战性。随着信息获取手段的升级,获取的数据也在多个层面呈现出复杂性:（1）维数越来越高,而且数据中包含了大量无用信息以及冗余信息;（2）包含时序信息,数据中的每个样本与其前后近邻之间都有着很强的时间关联性;（3）数据类型多样化,除了数值型数据还包括非结构化数据,比如文本以及音视频数据;（4）数据来自多个源形成多视图数据,需要联合考虑多个视图之间的关联与差异等。数据的这种复杂性为无监督异常检测算法提出了严峻的挑战,以高维数据和多维时序数据为例,高维数据中的冗余信息等内容对异常检测过程造成的干扰,极大地影响了算法的检测性能;多维时序数据除了时序性之外,各个维度之间也具有较强的相关性,如何同时考虑这两个特性成为面向多维时序数据的子序列异常检测算法与点异常检测算法的一个难点。因此,本文将围绕实现复杂数据的无监督异常检测这一目标,分别对面向高维数据的异常检测算法、面向多维时序数据的子序列常检测算法以及面向多维时序数据的点异常检测算法展开研究。深度学习具有良好的特征提取能力,在面向高维数据的异常检测工作中有着重要的应用。现有的深度异常检测算法使用先降维再检测的算法或者是直接面向高维数据的数据拟合算法进行异常检测,前者使用通用的重构误差作为降维过程的损失函数,忽略了降维与后续的异常检测目标之间的关联;后者基于“数据能够拟合某个分布或模型”的假设检测异常,但是随着高维数据复杂性的增加,使得该基本假设难以被满足,导致检测效果不理想。为此,我们提出一种基于近邻区分网络的深度异常检测算法NND-AD。NND-AD将降维与检测结合起来,在降维过程中最大化数据与其近邻之间的距离,使得异常尽可能与其他数据分离;以数据之间的结构相似性为权重调整数据在空间中的分布,使得数据与其近邻之间的距离在“拉大”的过程中能够按照结构的相似性在空间中分布。同时,NND-AD从近邻关系的角度出发,使用数据在低维空间中的近邻距离作为其异常得分,保证了特征提取与异常检测目标的有效关联。实验结果表明,与现有的深度异常检测算法相比,NND-AD平均有13.94%的AUC分数提升以及63.86%的F1-Score提升。面向多维时序数据,现有的在线多维子序列异常检测算法在使用相似性度量时因没有同时考虑时序性以及维度之间的相关性,使得检测准确性不高。为此,我们提出了一种基于耦合相似性的子序列异常检测算法CSS-AD。CSS-AD通过高斯核函数分别计算数据在时间和维度上的相似性,考虑到了多维时序数据的时序性与维度之间的相关性,然后加权处理得到局部相似性;CSS-AD还使用基于整体数值残差的全局相似性与局部相似性进行加权求和,得到耦合相似性。然后CSS-AD使用待检测的子序列与其临近的若干历史子序列的平均耦合相似性作为其异常得分。实验结果表明,与现有的面向多维时序数据的在线子序列异常检测算法相比,CSS-AD平均有28.89%的AUC分数提升以及94.58%的F1-Score提升。面向多维时序数据的基于预测的点异常检测算法要求在线环境下的数据预测过程中能够同时考虑时序性以及维度之间的相关性,然而现有的在线环境下的工作没有同时考虑时序性与维度之间的相关性,使得检测准确性不高。为此,我们提出一种基于分组预测的点异常检测算法GPP-AD。首先,GPP-AD通过利用维度之间的相关性对维度进行分组,将相关性强的维度和独立性强的维度区分开来,避免不相关特征对后续预测过程的影响。然后,在每个具有强相关性的维度分组上,GPP-AD通过滑动窗口来保留数据的时序性,通过线性回归在每一个维度上学习一个从历史数据的多时间点多维度到当前时间点的预测模型,充分利用了历史数据对当前时刻每一个维度在时序和维度上的影响来预测新数据,同时考虑了时序性与相关性;在独立性强的维度分组上,GPP-AD使用基于滑动平均的算法对当前时刻进行预测。最后,GPP-AD通过对各个维度分组预测值的集成,不仅可以使用预测误差检测异常,还可以确定异常所在的维度。实验结果表明,与现有的面向多维时序数据的在线点异常检测算法相比,GPP-AD平均有47.29%的AUC分数提升以及33.02%的F1-Score提升。

关键词：无监督学习异常检测复杂数据深度学习多维时序数据

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

复杂数据的异常检测算法

信息技术 2015年第5期39卷 176-179页

作者：叶青张丽丽河海大学计算机与信息学院南京211100

随着信息技术的快速发展,不同领域产生越来越多的数据,大量的数据形式多种多样,其中有一些数据用图表示更合适,异常数据会对相关领域造成一定危害,如何检测复杂数据中的异常有着重要的意义。传统的异常检测算法大都针对向量型数据提出,... 详细信息

随着信息技术的快速发展,不同领域产生越来越多的数据,大量的数据形式多种多样,其中有一些数据用图表示更合适,异常数据会对相关领域造成一定危害,如何检测复杂数据中的异常有着重要的意义。传统的异常检测算法大都针对向量型数据提出,不能直接运用于这些复杂的数据中,因此利用图核的方法先将这些数据进行转化接着降维,再利用单类支持向量机训练模型提出了复杂数据的异常检测算法,在数据集上的实验结果验证了算法的有效性。

关键词：复杂数据异常检测图核降维单类支持向量机

基于农产品加工业复杂数据处理分析的预警系统的设计与实现

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于农产品加工业复杂数据处理分析的预警系统的设计与实现

作者：吴凤娇北京邮电大学

学位级别：硕士

近些年来,中国政府对我国的农产品加工业的重视程度越来越高。本课题主要为满足农业部规划设计研究院统计与分析每月数据统的需求,建立农产品加工业监测预警系统。基于数据文件来源多、数据内容格式多样性的特点,参考现有的复杂数据处... 详细信息

近些年来,中国政府对我国的农产品加工业的重视程度越来越高。本课题主要为满足农业部规划设计研究院统计与分析每月数据统的需求,建立农产品加工业监测预警系统。基于数据文件来源多、数据内容格式多样性的特点,参考现有的复杂数据处理模型成果,设计开发了对于复杂数据处理分析的模型,综合处理了多数据来源导致的文件类型多样化、文件内容格式不统一、文件数量庞大、文件内容校验规则不一致、批量数据复杂计算等诸多问题,设计出通用复杂文件处理模块。使用中间件思想,提高了文件处理系统的兼容性。针对内容校验规则多样性的特点,创建XML配置文件,程序自动匹配校验规则,降低后续修改成本。为保证原始数据的原子性,采用关系型数据库,在数据导入过程中引入数据库的事务机制,使用存储过程避免由于计算量大出现的处理速度慢的问题。本文的研究方法实现了方便快捷得处理复杂文件的功能,分析问题及解决问题的方法具有通用性。文章阐述了复杂数据处理思想在实际应用系统中的参考价值,可应用于物流管理信息系统中对批量订单信息的处理等实际问题中。

关键词：复杂数据事务存储过程 XML配置