检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于Hadoop的校园一卡通数据分析

无线互联科技 2016年第15期13卷 77-79页

作者：付影平马晶杜程西安邮电大学信息中心陕西西安710061

文章通过对校园一卡通消费数据特征进行分析,发现学生消费行为背后隐藏的规律。文章采用数据挖掘统计分析的方法对前期获取的原始数据进行筛选,从不同年级、不同就餐地点两个方面考虑,研究不同群体的消费习惯。数据处理是在Hadoop(分布... 详细信息

文章通过对校园一卡通消费数据特征进行分析,发现学生消费行为背后隐藏的规律。文章采用数据挖掘统计分析的方法对前期获取的原始数据进行筛选,从不同年级、不同就餐地点两个方面考虑,研究不同群体的消费习惯。数据处理是在Hadoop(分布式系统基础架构)框架下采用Map reduce(一种编程模型,映射和化简)方法,通过对关键字过滤之后得到统计结果并将其可视化。

关键词：校园一卡通消费数据 Hadoop Map reduce

在线全文

学校读者我要写书评

暂无评论

基于应用程序的Mapreduce性能优化

计算机技术与发展 2015年第7期25卷 96-99,106页

作者：高莉莎刘正涛应毅南京供电公司江苏南京210019 南京航空航天大学信息科学与技术学院江苏南京210016 三江学院计算机科学与工程学院江苏南京210012

针对Mapreduce框架执行效率不佳的问题,对Mapreduce性能优化的多个方案进行了研究。首先阐述了云计算的定义、特征以及专用批处理Paa S平台Hadoop的组成,之后简单介绍了Mapreduce框架和Mapreduce框架下的应用程序开发,接着着重讨论了Map... 详细信息

针对Mapreduce框架执行效率不佳的问题,对Mapreduce性能优化的多个方案进行了研究。首先阐述了云计算的定义、特征以及专用批处理Paa S平台Hadoop的组成,之后简单介绍了Mapreduce框架和Mapreduce框架下的应用程序开发,接着着重讨论了Mapreduce性能优化的三个主流方向:系统实现优化、参数调优、应用程序优化。并从应用程序着手,提出多个解决方法,进行了in-Map reduce优化算法、脚本语言/编译语言对比、小文件预处理优化等多个实验,最后对优化技术和实验数据进行了分析。实验结果表明,优化应用程序是提高Mapreduce性能的有效手段。

关键词： Mapreduce 应用程序性能优化 in-Map reduce 小文件优化

在线全文

学校读者我要写书评

暂无评论

基于Hadoop的局部异常检测算法

信息技术与网络安全 2019年第6期38卷 52-56,60页

作者：李永政郝新兵华北计算机系统工程研究所北京100083 中国信息安全研究院有限公司北京100000

为了提高局部异常检测算法的检测效率以及检测的准确度,提出基于Hadoop的分布式局部异常检测算法MR-DINFLO。该算法在INFLuenced Outlierness(INFLO)算法的基础上,引入了Mapreduce计算框架,将数据点的k近邻、k距离、反向k近邻、局部离... 详细信息

为了提高局部异常检测算法的检测效率以及检测的准确度,提出基于Hadoop的分布式局部异常检测算法MR-DINFLO。该算法在INFLuenced Outlierness(INFLO)算法的基础上,引入了Mapreduce计算框架,将数据点的k近邻、k距离、反向k近邻、局部离群因子的计算并行化处理,从而提高了检测效率。算法在计算各个数据对象之间的距离时采用加权距离,通过引入信息熵来判断离群属性,给离群属性以较大的权重,从而提高了异常检测的准确度。实验在3节点Hadoop集群上进行,输入数据为KDD-CUP99。当输入数据集大小为500万条时,所提出的MR-DINFLO算法检测准确度为0.94,检测时间为2589s。实验结果表明该算法具有高效可行性。

关键词：异常检测 INFLuenced Outlierness Hadoop Map reduce 并行化信息熵

在线全文

学校读者我要写书评

暂无评论

云计算环境下的负荷特征曲线提取

信息安全与技术 2014年第12期5卷 28-32页

作者：朱斌杨志强徐春雷苏大威姚鹏蒋浩江苏省电力公司江苏南京210024 徐州供电公司江苏徐州221005 东南大学电气工程学院江苏南京210096

文章针对电网运行产生的数据呈爆炸式增长,EMS系统有效信息往往淹没在海量数据中这一问题,提出一种云计算模式下的聚类分析处理方法,基于Hadoop平台的Map reduce计算模型与分布式文件存储,将系统聚类法进行拆分,在云环境中对多个计算模... 详细信息

文章针对电网运行产生的数据呈爆炸式增长,EMS系统有效信息往往淹没在海量数据中这一问题,提出一种云计算模式下的聚类分析处理方法,基于Hadoop平台的Map reduce计算模型与分布式文件存储,将系统聚类法进行拆分,在云环境中对多个计算模块进行并行分析。作为试验性验证,提取某大用户近三年的负荷特征曲线,选取不同数据量、不同节点数,进行算法加速比的测试。结果表明,在云计算架构中该算法可以有效提高计算效率,适用于电力系统海量数据的挖掘分析。

关键词：云计算负荷特征曲线系统聚类法 Hadoop Map reduce

在线全文

学校读者我要写书评

暂无评论

基于模糊概率的信息系统威胁态势感知方法

信息网络安全 2016年第S1期 132-136页

作者：田建伟田峥黎曦薛海伟国网湖南省电力公司电力科学研究院湖南长沙410007

为了有效检测攻击事件,评估信息系统面临的威胁程度,文章提出了一种基于模糊概率的信息系统威胁态势感知方法。该方法提取核心威胁态势指标,采用Map reduce模型检测和统计攻击事件。在此基础上,建立基于模糊概率理论的威胁评估矩阵,并... 详细信息

为了有效检测攻击事件,评估信息系统面临的威胁程度,文章提出了一种基于模糊概率的信息系统威胁态势感知方法。该方法提取核心威胁态势指标,采用Map reduce模型检测和统计攻击事件。在此基础上,建立基于模糊概率理论的威胁评估矩阵,并利用熵权法和层次分析法相结合的方式确定评估矩阵中指标向量的权重。实例分析表明,该方法能够对威胁态势做出合理和全面的评估。

关键词：威胁态势熵权法层次分析法威胁评估矩阵 Map reduce

基于不规则区域划分方法的k-Nearest Neighbor查询算法

在线全文

学校读者我要写书评

暂无评论

计算机系统应用 2015年第9期24卷 186-190页

作者：张清清李长云李旭周玲芳胡淑新邹豪杰湖南工业大学计算机与通信学院株洲412007

随着越来越多的数据累积,对数据处理能力和分析能力的要求也越来越高.传统k-Nearest Neighbor(k NN)查询算法由于其容易导致计算负载整体不均衡的规则区域划分方法及其单个进程或单台计算机运行环境的较低数据处理能力.本文提出并详细... 详细信息

随着越来越多的数据累积,对数据处理能力和分析能力的要求也越来越高.传统k-Nearest Neighbor(k NN)查询算法由于其容易导致计算负载整体不均衡的规则区域划分方法及其单个进程或单台计算机运行环境的较低数据处理能力.本文提出并详细介绍了一种基于不规则区域划分方法的改进型k NN查询算法,并利用对大规模数据集进行分布式并行计算的模型Map reduce对该算法加以实现.实验结果与分析表明,Map reduce框架下基于不规则区域划分方法的k NN查询算法可以获得较高的数据处理效率,并可以较好的支持大数据环境下数据的高效查询.

关键词： k-Nearest Neighbor(k NN)查询算法不规则区域划分方法 Map reduce 大数据

在线全文

学校读者我要写书评

暂无评论

Hadoop作业调度本地性的研究与优化

软件 2015年第2期36卷 64-68页

作者：陈若飞姜文红北京交通大学计算机信息与技术学院工程系北京100044

作为开源云计算平台的核心技术之一,Map reduce作业处理框架及其作业调度算法,对整个系统的性能起着至关重要的作用,而数据本地性是衡量作业调度算法好坏的一个重要标准,首先本文介绍和分析了Map reduce基本原理,Map reduce作业处理机制... 详细信息

作为开源云计算平台的核心技术之一,Map reduce作业处理框架及其作业调度算法,对整个系统的性能起着至关重要的作用,而数据本地性是衡量作业调度算法好坏的一个重要标准,首先本文介绍和分析了Map reduce基本原理,Map reduce作业处理机制和Map reduce作业调度机制及其在数据本地性方面表现出的优缺点等相关内容。其次,针对原生作业调度算法在数据本地性考虑不周全的问题,结合数据预取技术的可行性与优势,通过引入资源预取技术设计并实现一种基于资源预取的Hadoop Map reduce作业调度算法,使作业执行效率更高。

关键词：云计算 Hadoop Map reduce 作业调度数据本地性资源预取

在线全文

学校读者我要写书评

暂无评论

笔帽安全性解读与实施方法

文体用品与科技 2015年第19期 12-14页

作者：康登奎青岛昌隆文具有限公司

《GB21027-2007学生用品的通用安全标准》是由中国轻工业联合会提出，全国文体用品标准化中心归口的一项强制性国家标准，自从2007年颁布以来，受到社会各界和消费者的极大关注。2014年又重新作了修订（修订任务书编号20102076-Q-607）... 详细信息

《GB21027-2007学生用品的通用安全标准》是由中国轻工业联合会提出，全国文体用品标准化中心归口的一项强制性国家标准，自从2007年颁布以来，受到社会各界和消费者的极大关注。2014年又重新作了修订（修订任务书编号20102076-Q-607），目前在审批过程中，尚未发布。该标准中的“3.7笔的上帽安全”，基本是等同引用了ISO11540（Writing and marking instruments－Specifications for caps to reduce the risk of asphyxiation），笔的上帽安全性也越来越多引起了文具制造厂家的重视，很多用户和消费者也很关心上帽的安全性。笔者参加了该标准2007版的制订和2014年的修订，期间曾经收到过笔制造厂家和检测机构打电话咨询，为了更好地理解和实施该项国家强制标准，根据多年对国内外书写用品设计的研究和在行业的实际工作经验，本文将对上帽安全性设计、质量控制等方面提出一些具体的实施方法和注意的事项，与大家分享。

关键词：安全性设计 instruments 强制性国家标准解读笔帽安全标准学生用品 reduce

Physiological and Phytotoxicity Response of Amaranth to Exposure of Nd2O3 Nanoparticles

在线全文

学校读者我要写书评

暂无评论

Physiological and Phytotoxicity Response of Amaranth to Expo...