检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

一种傅里叶域海量数据高速谱聚类方法

北京航空航天大学学报 2022年第8期48卷 1445-1454页

作者：张熳徐兆瑞沈项军江苏大学计算机科学与通信工程学院镇江212013

谱聚类方法广泛应用于数据挖掘和模式识别等领域,但大规模数据上高计算代价的特征向量求解及大数据带来的巨大内存需求,使得其应用于大规模数据时受到了极大的限制。为此,研究了基于傅里叶域的海量数据高速谱聚类方法。利用数据模式的... 详细信息

谱聚类方法广泛应用于数据挖掘和模式识别等领域,但大规模数据上高计算代价的特征向量求解及大数据带来的巨大内存需求,使得其应用于大规模数据时受到了极大的限制。为此,研究了基于傅里叶域的海量数据高速谱聚类方法。利用数据模式的重复性特点在傅里叶域建模,将耗时的特征向量计算转化为对预先确定的傅里叶域判别基进行选择来确定最终的特征向量,计算过程只需进行简单的乘法和加法运算,计算量得到极大的约减;分批次训练样本,使用部分样本即可估计出整体数据的特征向量分布,确定最终的特征向量,压缩了计算时间和内存需求。在Ijcnn1、RCV1、Covtype-mult、Poker及MNIST-8M等大规模数据上的实验结果表明,所提方法在聚类精度等各项指标基本保持的前提下,训练时间相比FastESC、LSSHC、SC_RB、SSEIGS及USPEC等方法最高快了810.58倍,证明了所提方法在处理大规模聚类数据方面具有显著优势。

关键词：谱聚类傅里叶域海量数据高速计算低内存需求

在线全文

学校读者我要写书评

暂无评论

海量数据广义线性模型变量选择算法研究

北京化工大学学报（自然科学版） 2020年第2期47卷 130-136页

作者：陈少东李志强北京化工大学数理学院北京100029

首先推导出了用于求解一般广义线性模型变量选择问题的非凸惩罚迭代估计算法,并利用分治思想对算法进行修正,使其能够适用于海量数据情形,以解决海量数据下进行变量选择时可能存在的内存溢出等问题。考虑到当前处理海量数据实际使用的工... 详细信息

首先推导出了用于求解一般广义线性模型变量选择问题的非凸惩罚迭代估计算法,并利用分治思想对算法进行修正,使其能够适用于海量数据情形,以解决海量数据下进行变量选择时可能存在的内存溢出等问题。考虑到当前处理海量数据实际使用的工具,进一步给出了算法在分布式并行下的计算步骤,大幅提高了计算速度。在数值模拟中,通过单机和集群两种方式对算法进行数值计算,结果表明本文方法有效解决了数据存储问题且适用于分布式环境。最后,通过所提算法来完成Probit模型的变量选择,并将其用于新闻数据集的分类问题。

关键词：海量数据广义线性模型变量选择分治算法

海量数据上有效的top-k Skyline查询算法

在线全文

学校读者我要写书评

暂无评论

计算机科学与探索 2019年第5期13卷 775-787页

作者：韩希先宋翠戈韵如高宏李建中哈尔滨工业大学计算机科学与技术学院哈尔滨150001

在许多应用中,Skyline查询是一种十分重要的查询类型,它在潜在的巨大的数据空间中返回不被其他元组支配的用户感兴趣的元组,但是Skyline查询无法控制返回结果的数量。处理一个新的top-k Skyline查询问题,该查询返回支配分数最大的k个Sky... 详细信息

在许多应用中,Skyline查询是一种十分重要的查询类型,它在潜在的巨大的数据空间中返回不被其他元组支配的用户感兴趣的元组,但是Skyline查询无法控制返回结果的数量。处理一个新的top-k Skyline查询问题,该查询返回支配分数最大的k个Skyline元组,从而控制了需要向用户返回的查询结果数量。分析发现,大多数现有算法忽略了利用支配分数作为限制Skyline查询的结果数量的度量。提出一个新的基于表扫描的RSTS(ranked Skyline with table scan)算法来有效计算海量数据上的top-k Skyline结果。RSTS算法首先对表执行预排序操作,保证预排序表的元组按照对有序列表的round-robin扫描的顺序排列。RSTS算法包括两个阶段。阶段1利用对预排序表的顺序扫描来获得候选元组。阶段2计算候选元组的支配分数并返回结果。可以证明,RSTS算法具有早结束特性,并给出其扫描深度的理论分析。提出对于候选元组的剪切操作,理论剪切效果表明,绝大多数的Skyline结果可以直接丢弃。实验结果表明,RSTS算法可以有效计算top-k Skyline结果。

关键词：海量数据 top-kSkyline RSTS算法表扫描剪切操作

在线全文

学校读者我要写书评

暂无评论

海量数据中均值变点的快速估计方法

应用概率统计 2020年第5期36卷 493-508页

作者：曹萍夏志明西北大学数学学院西安710127

当样本容量为N时,均值变点的最小二乘估计的计算复杂度为O(N^2),在海量数据情形下亟需降低计算复杂度.本文针对均值变点估计问题,提出了一种两阶段快速扫描算法,并证明该方法与均值变点的最小二乘估计具有相同的收敛速度和极限分布,且... 详细信息

当样本容量为N时,均值变点的最小二乘估计的计算复杂度为O(N^2),在海量数据情形下亟需降低计算复杂度.本文针对均值变点估计问题,提出了一种两阶段快速扫描算法,并证明该方法与均值变点的最小二乘估计具有相同的收敛速度和极限分布,且新算法的最佳复杂度为O(N^4/3·bn^2/3).我们从计算时间和估计效率方面进行了充足的数据实验,结果表明新老方法估计效率相似,但我们的方法计算时间明显缩短.

关键词：最小二乘估计估计效率极限分布样本容量均值变点海量数据收敛速度扫描算法

在线全文

学校读者我要写书评

暂无评论

海量数据下线性混合效应模型的估计算法

北京化工大学学报（自然科学版） 2019年第3期46卷 123-128页

作者：耿俏李志强陈少东北京化工大学理学院北京100029

基于以往文献提出线性混合效应模型参数的三步估计方法,避免了繁杂的极大似然估计迭代步骤。同时为进一步解决海量数据下计算估计量时存在的存储瓶颈及计算时间过长问题,在海量纵向数据的两种不同数据格式下,分别基于三步估计方法利用... 详细信息

基于以往文献提出线性混合效应模型参数的三步估计方法,避免了繁杂的极大似然估计迭代步骤。同时为进一步解决海量数据下计算估计量时存在的存储瓶颈及计算时间过长问题,在海量纵向数据的两种不同数据格式下,分别基于三步估计方法利用分治算法计算模型参数的估计量。数值模拟和实证分析结果表明,本文所提出的三步估计方法和估计量的分治算法可以减轻计算负担,减少占用内存,解决内存不足的问题,并提高计算速度。

关键词：海量数据纵向数据线性混合效应模型三步估计方法分治算法

海量数据下广义线性模型参数的聚合估计算法研究

在线全文

学校读者我要写书评

暂无评论

统计与信息论坛 2020年第7期35卷 18-24页

作者：陈少东李志强北京化工大学数理学院北京100029

海量数据下研究广义线性模型参数的估计算法,针对通常的极大似然估计或拟似然估计方程算法中每步迭代均需使用到全体观测数据而造成存储空间不足、计算负担繁重的问题,对广义线性模型参数估计方法进行了改进。结合分治算法与Newton-Raph... 详细信息

海量数据下研究广义线性模型参数的估计算法,针对通常的极大似然估计或拟似然估计方程算法中每步迭代均需使用到全体观测数据而造成存储空间不足、计算负担繁重的问题,对广义线性模型参数估计方法进行了改进。结合分治算法与Newton-Raphson算法,提出一种适用于在单机和分布式并行环境下广义线性模型参数求解的聚合拟似然估计方程算法,并进一步研究了聚合拟似然估计量的渐近性质。研究结果表明,当数据分块数目满足一定条件时,所得到的聚合拟似然估计与基于全部数据直接得到的极大拟似然估计具有相同的渐近性质。在数值模拟中,通过单机和Spark集群的实现方式对算法进行数值计算,结果表明聚合拟似然估计方法在解决了数据存储问题的同时提高了计算效率。最后,利用该算法估计Probit模型参数,并将估计出的模型应用于超对称粒子分类问题。

关键词：广义线性模型海量数据分治算法聚合拟似然估计方程

海量数据驱动下的高分辨率海洋数值模式发展与展望

在线全文

学校读者我要写书评

暂无评论

海洋科学进展 2019年第2期37卷 161-170页

作者：宋振亚刘卫国刘鑫苏天赟刘海行尹训强自然资源部第一海洋研究所山东青岛266061 青岛海洋科学与技术试点国家实验室区域海洋动力学与数值模拟功能实验室山东青岛266061 山东大学软件学院山东济南250101 无锡江南计算技术研究所江苏无锡214083

海洋数值模式是定量描述海洋物理现象及其变化的数值模型,也是海洋与气候研究、预测的核心工具。随着海洋观测的不断投入与积累、对海洋认识的不断深入,特别是在高性能计算技术的支撑下,海洋数值模式已有了长足进步,正朝着高分辨率和多... 详细信息

海洋数值模式是定量描述海洋物理现象及其变化的数值模型,也是海洋与气候研究、预测的核心工具。随着海洋观测的不断投入与积累、对海洋认识的不断深入,特别是在高性能计算技术的支撑下,海洋数值模式已有了长足进步,正朝着高分辨率和多物理过程的方向发展。随着分辨率的提高、物理过程的细化,海洋数值模式的发展面临着多个方面的挑战。当前,海洋数据数量和种类不断增多,同时超级计算机、高性能计算和深度学习等技术的快速发展,为海洋数值模式的突破提供了机遇与挑战。本研究回顾了海洋数值模式的发展现状,梳理和分析了其发展中遇到的大规模高效并行计算和参数优化这两个关键问题,探讨和展望了当前海量数据驱动下海洋数值模式的发展趋势。提出计算负载均衡、计算与I/O重叠的并行流水线设计以及降低全局交换的算法改进是当前突破高分辨率海洋模式大规模高效并行效率的关键。从海洋科学、高性能计算以及深度学习深度交叉融合的角度,提出了实现海洋科学与深度学习相结合的6个途径,在此基础上,探讨了基于深度学习的参数化优化可能实现的途径。

关键词：海洋数值模式海量数据物理参数优化高分辨率深度学习高性能计算

在线全文

学校读者我要写书评

暂无评论

综采工作面海量数据挖掘分析平台设计

工矿自动化 2023年第5期49卷 30-36,126页

作者：王宏伟杨焜付翔李进贾思锋太原理工大学山西省煤矿智能装备工程研究中心山西太原030024 太原理工大学矿业工程学院山西太原030024 太原理工大学机械与运载工程学院山西太原030024

当前综采工作面海量数据采集的实时性和完整性差、异常数据清洗耗时大、数据挖掘时延大,导致综采数据利用率低,无法辅助管理层实时下发决策指令。针对上述问题,设计了一种综采工作面海量数据挖掘分析平台。该平台由数据源层、数据采集... 详细信息

当前综采工作面海量数据采集的实时性和完整性差、异常数据清洗耗时大、数据挖掘时延大,导致综采数据利用率低,无法辅助管理层实时下发决策指令。针对上述问题,设计了一种综采工作面海量数据挖掘分析平台。该平台由数据源层、数据采集存储层、数据挖掘层和前端应用层组成。数据源层由工作面各类硬件设备提供原始数据;数据采集存储层使用OPC UA网关实时采集井下传感器监测信息,再通过MQTT协议和RESTful接口将数据存入InfluxDB存储引擎;数据挖掘层利用Hive数据引擎和Yarn资源管理器筛选数据采集过程中受工作现场干扰形成的异常数据,解决因网络延时导致的数据局部采集顺序紊乱问题,并利用Spark分布式挖掘引擎挖掘工作面设备群海量工况数据的潜在价值,提高数据挖掘模型的运行速度;前端应用层利用可视化组件与后端数据库关联,再通过AJAX技术与后端数据实时交互,实现模型挖掘结果和各类监测数据的可视化展示。测试结果表明,该平台能够充分保证数据采集的实时性与完整性,清洗效率较单机MySQL查询引擎提升5倍,挖掘效率较单机Python挖掘引擎提升4倍。

关键词：综采工作面海量数据数据挖掘数据采集数据存储数据清洗数据可视化

在线全文

学校读者我要写书评

暂无评论

海量数据中的分布式支持向量回归

应用数学进展 2022年第4期11卷 1876-1889页

作者：梁姝娜张齐青岛大学山东青岛

大规模的数据给传统的统计推断方法带来了新的挑战,比如在分析超过一台计算机容量的海量数据集时,由于数据太大,无法保存在计算机内存中,计算任务可能需要花费很长时间才能获得结果。为了有效地解决海量数据情形下的诸多问题,本文研究... 详细信息

大规模的数据给传统的统计推断方法带来了新的挑战,比如在分析超过一台计算机容量的海量数据集时,由于数据太大,无法保存在计算机内存中,计算任务可能需要花费很长时间才能获得结果。为了有效地解决海量数据情形下的诸多问题,本文研究了支持向量回归的分布式估计。首先采用平滑技术发展了一种平滑支持向量回归(S-SVR)估计方法。然后基于分而治之的思想,针对海量数据集对S-SVR估计方法提出了分而治之支持向量回归估计算法(DC-SVR),该方法解决了内存限制和计算时间的问题。此外,本文中提出的DC-SVR方法中的参数可通过网格搜索和交叉验证相结合的方法获得,具有自适应性,其中最优的参数是由每次数据自动选择的。在模拟研究中,通过不同情形的实验表明了文章所提估计量的优越性,模拟结果显示通过DC-SVR所得的估计量在平均绝对偏差和均方误差评价准则下的差异更小。

关键词：支持向量回归分治法平滑化海量数据