检索结果-南通市图书馆

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

海量多结构数据智能检索中的存取方法研究

海量多结构数据智能检索中的存取方法研究

作者：王子健华中科技大学

学位级别：硕士

随着互联网的快速发展，数据信息也呈现出指数级增长，特别是在智能检索方面，传统的单机模式的处理方式已经不能很好地适应目前海量数据的处理。随着Hadoop分布式文件系统以及MapReduce分布式并行处理的出现，对海量信息特别是现代多... 详细信息

随着互联网的快速发展，数据信息也呈现出指数级增长，特别是在智能检索方面，传统的单机模式的处理方式已经不能很好地适应目前海量数据的处理。随着Hadoop分布式文件系统以及MapReduce分布式并行处理的出现，对海量信息特别是现代多结构化数据的处理方式逐渐转变为分布式并行处理方式。在对海量信息的智能检索方面，利用MapReduce技术也能进行高效的处理。在分析了Hadoop和MapReduce分布式并行处理环境对海量数据存储以及检索的可行性基础上，结合智能检索的海量数据语义特征的需求和内容特征的需求，提出了针对多结构化数据智能检索的数据组织策略和存取方法。针对Lucene全文检索技术的特点，设计出对海量数据的特征文本文件建立倒排索引和正排索引。在Hbase分布式数据库能很好地适应多结构化数据特点的基础上，设计出海量多结构化文件的高维特征（包括语义特征和内容特征）库。在海量信息的分布式处理方面，针对海量大文件的处理效率较高，结合分布式文件系统特点和小文件的特点，提出并实现了用大文件方式处理海量小文件的存取方法。基于以上的海量数据的存取方式，设计并实现了对这些海量存储数据的智能语义检索，包括单模态以及多模态的相似性检索和聚类检索，并且在其实现中对其检索机制进行了缓存优化处理。在MapReduce分布式处理方面，提出并实现了一种对其Shuffle阶段进行优化的方法。经过大量的实验表明，所实现的智能检索原型系统在存取和检索方面，具有较强的实用性。

关键词：海量存储语义检索存取方法分布式并行处理

基于大数据处理的检验科全面质量管理研究与应用

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

中国数字医学 2018年第3期13卷 26-28页

作者：门庆娟王世宝苑芳兵莒县人民医院检验科莒县人民医院信息科

通过对实验室全面质量管理的深入研究,全面分析了影响实验室质量控制因素,从检验前、检验中、检验后三个方面提出新的质控手段和技术,依托大数据处理技术,从纷杂的数据中发现、提取有价值的信息,将过去的基于数理统计的事后质量控制全... 详细信息

通过对实验室全面质量管理的深入研究,全面分析了影响实验室质量控制因素,从检验前、检验中、检验后三个方面提出新的质控手段和技术,依托大数据处理技术,从纷杂的数据中发现、提取有价值的信息,将过去的基于数理统计的事后质量控制全面升级为事前质量控制。

关键词：实验室全面质量管理大数据分布式并行处理事前质控

在线全文

学校读者我要写书评

暂无评论

基于Hadoop的智能家居信息处理平台

计算机技术与发展 2014年第9期24卷 183-186,190页

作者：徐源吾王珣南京邮电大学通信与信息工程学院江苏南京210003 南京邮电大学通信技术研究所江苏南京210003 南京邮电大学宽带无线通信与传感器技术教育部重点实验室江苏南京210003

智能家居包含门禁系统、温湿度系统、室内滴灌系统、照明系统等。每一个系统包含了不同的终端,每一个终端安装有不同的传感器,传感器感知周围环境产生大量数据。用户数的不断增加将产生海量数据。文中针对传统的海量数据处理方法会出现... 详细信息

智能家居包含门禁系统、温湿度系统、室内滴灌系统、照明系统等。每一个系统包含了不同的终端,每一个终端安装有不同的传感器,传感器感知周围环境产生大量数据。用户数的不断增加将产生海量数据。文中针对传统的海量数据处理方法会出现硬件成本高、计算瓶颈等问题,在云计算理论的基础上针对智能家居中的门禁系统、温湿度系统、滴灌系统和照明系统搭建了基于Hadoop的数据处理平台。该平台对大量传感信息进行分布式并行处理,并根据处理结果向底层设备发送指令以实现智慧化服务,有效解决了成本和计算瓶颈问题。

关键词：智能家居云计算 Hadoop 分布式并行处理

基于云计算Hadoop平台的文本挖掘预处理方法

在线全文

学校读者我要写书评

暂无评论

上海工程技术大学学报 2017年第2期31卷 115-119页

作者：张爱科柳州职业技术学院柳州545006

随着信息社会的快速发展,网络数据正在指数级地增长,其中大部分都是文本数据.如何在有限的时间内完成大规模的文本数据挖掘分析,已成为当前的热点研究问题.文本预处理是整个挖掘过程中最耗时的环节,分布式并行处理可以缩短该过程的挖掘... 详细信息

随着信息社会的快速发展,网络数据正在指数级地增长,其中大部分都是文本数据.如何在有限的时间内完成大规模的文本数据挖掘分析,已成为当前的热点研究问题.文本预处理是整个挖掘过程中最耗时的环节,分布式并行处理可以缩短该过程的挖掘时间.设计分析了基于云计算Hadoop平台的文本预处理MapReduce并行化过程,并对预处理的Map函数和Reduce函数进行了详细介绍.通过实验证明,和单节点运行相比,改进后的并行化方法具有更好的性能.

关键词：云计算 Hadoop平台文本挖掘文本预处理分布式并行处理

在线全文

学校读者我要写书评

暂无评论

基于共享内存的路径规划负载均衡算法

测绘与空间地理信息 2016年第9期39卷 64-67页

作者：邱鲤鲤姚术林刘子立陈云厦门大学建筑与土木工程学院福建厦门361005 厦门精图信息技术股份有限公司福建厦门361008

为满足前端对路径规划高并发服务需求,本文设计后台采用集群路径规划服务器来实现并行处理,以达到对前置Fast CGI服务器请求进行分流的目的。由此,本文提出基于共享内存的路径规划负载均衡算法,可根据不同路径规划服务器的性能差异,设... 详细信息

为满足前端对路径规划高并发服务需求,本文设计后台采用集群路径规划服务器来实现并行处理,以达到对前置Fast CGI服务器请求进行分流的目的。由此,本文提出基于共享内存的路径规划负载均衡算法,可根据不同路径规划服务器的性能差异,设置相应的加权系数,并按照加权调度算法,将任务交由合适的路径规划服务器来处理,以均衡所有路径规划服务器之间的负载能力,减少服务延迟,从而提高了路径规划服务的稳定性、扩展性、高可用性和执行的效率。

关键词：负载均衡路径规划共享内存分布式并行处理

在线全文

学校读者我要写书评

暂无评论

基于网络日志的用户偏好判断方法

中国信息技术教育 2017年第21期 98-101页

作者：余小高余小鹏湖北经济学院武汉工程大学

随着网络的广泛应用,网络用户规模越来越庞大,如何分析他们的偏好,进行有效的管理和引导,成为亟待解决的问题。利用网络日志对用户偏好进行分析,是一个行之有效的方法。本文首先定义了空间概念,给出了网络空间概念,并提出了改进的Tire... 详细信息

随着网络的广泛应用,网络用户规模越来越庞大,如何分析他们的偏好,进行有效的管理和引导,成为亟待解决的问题。利用网络日志对用户偏好进行分析,是一个行之有效的方法。本文首先定义了空间概念,给出了网络空间概念,并提出了改进的Tire树结构;然后结合Hadoop平台和改进的Tire树,给出了分布式网络空间的构建方法,对网络日志的存储进行构建;接着在网络空间的基础上设计了用户偏好分析方法的工作流程、步骤和伪代码,对网络日志进行分布式并行处理,得出用户的偏好;最后通过实验和实例分析得出,该方法提高了网络日志分析的效率和精确度,也验证了该方法对用户偏好的分析具有可行性和正确性。

关键词：网络日志 Tire+树分布式并行处理用户偏好

基于Hadoop云计算平台的海量文本处理研究

在线全文

学校读者我要写书评

暂无评论

无线电通信技术 2014年第1期40卷 54-57页

作者：张学亮陈金勇陈勇中国电子科技集团公司第五十四研究所河北石家庄050081

针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase存储关键词... 详细信息

针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase存储关键词索引,并提供实时检索,实现对海量文本数据的分布式并行处理。实验结果表明,Hadoop框架为大规模数据的分布式并行处理提供了很好的解决方案。

关键词：海量文本处理 Hadoop HDFS HBase MapReduce 分布式并行处理

在线全文

学校读者我要写书评

暂无评论

电能信息采集与管理系统综述

云南电力技术 2019年第S2期47卷 101-104页

作者：景彪刘斌吴超志云南电网有限责任公司玉溪供电局玉溪653100 云南电网有限责任公司昆明供电局昆明650100

电能信息采集与管理系统是智能电网建设重要组成部分。文章阐述了电能信息采集与管理系统的组成与作用,介绍了国内外高级量测体系的发展现状。从功能架构,安全防护技术等方面分别详述了国家电网用电信息采集系统和南方电网计量自动化系... 详细信息

电能信息采集与管理系统是智能电网建设重要组成部分。文章阐述了电能信息采集与管理系统的组成与作用,介绍了国内外高级量测体系的发展现状。从功能架构,安全防护技术等方面分别详述了国家电网用电信息采集系统和南方电网计量自动化系统的技术路线,总结了国内外电能信息采集与管理系统技术差异,论述了分布式并行处理技术、安全态势感知技术、微服务架构等电能信息采集与管理系统的主站技术未来发展方向。

关键词：电能信息采集高级量测体系分布式并行处理态势感知微服务

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

云计算落地应用发展迅速

信息通信技术 2014年第1期8卷 4-4页

作者：刘韵洁中国联通科技委中国工程院

云计算相关的虚拟化、分布式并行处理、数据中心网络等相关技术发展一日千里、令人瞩目.国家信息化、行业信息化应用、企业信息化领域的逐步落地应用得到了政府、行业以及企业的广泛关注和深入参与.云计算带来了信息化服务的提升,推动... 详细信息

云计算相关的虚拟化、分布式并行处理、数据中心网络等相关技术发展一日千里、令人瞩目.国家信息化、行业信息化应用、企业信息化领域的逐步落地应用得到了政府、行业以及企业的广泛关注和深入参与.云计算带来了信息化服务的提升,推动政府、行业、企业向公众服务方式转变,集约化、专业化成为明显特点.尤其在企业IT系统和移动互联网平台中得到广泛应用,业界主流厂家纷纷进行了落地和应用部署及推广.

关键词：应用计算企业信息化行业信息化分布式并行处理国家信息化信息化服务移动互联网