检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

用户节电的大数据分析及应用

电网技术 2019年第4期43卷 1345-1353页

作者：陈海文王守相梁栋苏运智能电网教育部重点实验室(天津大学) 天津市南开区300072 电工装备可靠性与智能化国家重点实验室(河北工业大学) 天津市北辰区300401 国网上海市电力公司上海市浦东新区200122

为解决用户在开展节电工作时面临的用电数据不透明、缺少节电指导依据等问题,提出大数据背景下基于数据挖掘的用户节电通用分析方法,并在大数据平台上予以并行化实现,设计了直观的可视化展示形式。首先依据用户用电特性通过高维聚类实... 详细信息

为解决用户在开展节电工作时面临的用电数据不透明、缺少节电指导依据等问题,提出大数据背景下基于数据挖掘的用户节电通用分析方法,并在大数据平台上予以并行化实现,设计了直观的可视化展示形式。首先依据用户用电特性通过高维聚类实现了用电群体细分,然后融合电力、气象、经济等多维度数据开展节电分析,基于用户能效综合评估确定群体内节电标杆并量化用户节电潜力,接着通过多源数据关联分析获得用户节电策略,最后,通过SparkR在大数据平台上实现了节电算法业务的并行化,基于JavaWeb MVC框架实现了分析结果的可视化展示。实际应用效果表明,所提出的节电大数据分析方法,能有效关联多源数据,实现对海量用户数据的高效分析。

关键词：大数据节电分析分布式存储并行化计算数据可视化

在线全文

学校读者我要写书评

暂无评论

汽车碰撞过程并行有限元仿真技术

机械工程学报 2005年第2期41卷 153-157页

作者：曹银锋李光耀钟志华湖南大学现代车身技术教育部重点实验室长沙410082

根据显式有限元的计算特点和神威超级计算机的体系结构,设计了基于消息传递和区域分割的动态显式有限元的并行算法,给出了基于汽车结构和材料特征的并行化分区算法,提出的算法应用在自行开发的GEFEP-P汽车碰撞的并行化有限元分析软件... 详细信息

根据显式有限元的计算特点和神威超级计算机的体系结构,设计了基于消息传递和区域分割的动态显式有限元的并行算法,给出了基于汽车结构和材料特征的并行化分区算法,提出的算法应用在自行开发的GEFEP-P汽车碰撞的并行化有限元分析软件,并成功移植到神威Ⅰ超级计算机。算例计算结果表明:采用并行有限元计算,可以大大提高汽车碰撞过程的仿真计算效率。

关键词：有限元法并行化计算汽车碰撞分区

基于云计算平台Hadoop的HKM聚类算法设计研究

在线全文

学校读者我要写书评

暂无评论

应用科学学报 2018年第3期36卷 524-534页

作者：张淑芬董岩岩陈学斌华北理工大学理学院河北唐山063009 河北省数据科学与应用重点实验室河北唐山063009

为有效解决传统K-means聚类算法在处理大规模数据集时面临的扩展性问题,提出了一种Hadoop K-means聚类算法.该算法首先根据样本密度剔除数据集中孤立点或者噪声点的影响,再利用最大化最小距离思想选取K个初始中心,使初始聚簇中心点最优... 详细信息

为有效解决传统K-means聚类算法在处理大规模数据集时面临的扩展性问题,提出了一种Hadoop K-means聚类算法.该算法首先根据样本密度剔除数据集中孤立点或者噪声点的影响,再利用最大化最小距离思想选取K个初始中心,使初始聚簇中心点最优化,最后用Hadoop云计算平台的Map Reduce编程模型实现算法的并行化.实验结果表明,该算法不仅在聚类结果上具有较高的准确率和稳定性,而且能够很好地解决传统聚类算法在处理大规模数据时所面临的扩展性问题.

关键词： K-means算法样本密度最大化最小距离 Hadoop平台并行化计算

PHCC:一种处理稀疏变化的封闭数据立方体算法

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2013年第S2期50卷 85-93页

作者：牟雁超李红燕王腾蛟北京大学信息科学技术学院北京100871 机器感知与智能教育部重点实验室(北京大学) 北京100871 高可信软件技术教育部重点实验室(北京大学) 北京100871

完全数据立方体是一种需要在数据集上对属性列进行上卷聚集运算的复杂模型,而封闭数据立方体是一种对应的高效压缩模型.近年来海量数据管理系统的发展使得在大数据上进行数据立方体的计算成为可能,但是大数据环境中的数据可能稀疏也可... 详细信息

完全数据立方体是一种需要在数据集上对属性列进行上卷聚集运算的复杂模型,而封闭数据立方体是一种对应的高效压缩模型.近年来海量数据管理系统的发展使得在大数据上进行数据立方体的计算成为可能,但是大数据环境中的数据可能稀疏也可能密集,因此,要求在不同的数据稀疏程度下算法都要有稳定的表现.面对这样的要求,提出了一种基于大数据环境的封闭数据立方体并行化方法,首先通过构造2种树结构进行本地封闭数据子立方体的构造,然后利用位运算的方式在遍历树结构的同时进行封闭数据立方体的判断和聚集运算,最后经过合并得到查询的最终结果.并且通过在大数据中进行对比实验证明混合并行封闭数据立方体(parallel hybrid closed cubing,PHCC)算法能够满足在稀疏数据变化的数据中进行稳定聚集运算的条件.

关键词：封闭数据立方体大数据树结构 Mapreduce 并行化计算

在线全文

学校读者我要写书评

暂无评论

薄板冲压成形过程的并行有限元仿真技术

机械工程学报 2003年第7期39卷 79-83页

作者：曹银锋郑军李光耀钟志华湖南大学机械与汽车工程学院长沙410082

根据显式有限元的计算特点和神威超级计算机的体系结构,设计了基于消息传递和区域分解的动态显式有限元的并行算法,给出了基于薄板冲压有限元仿真特点的并行化分区算法,开发了薄板冲压成形并行有限元仿真软件。算例计算结果表明:采用并... 详细信息

根据显式有限元的计算特点和神威超级计算机的体系结构,设计了基于消息传递和区域分解的动态显式有限元的并行算法,给出了基于薄板冲压有限元仿真特点的并行化分区算法,开发了薄板冲压成形并行有限元仿真软件。算例计算结果表明:采用并行有限元计算,可以大大提高薄板冲压成形的仿真计算效率。

关键词：薄板冲压有限元法并行化计算分区仿真汽车覆盖件

基于Spark框架的高效KNN中文文本分类算法

在线全文

学校读者我要写书评

暂无评论

计算机应用 2016年第12期36卷 3292-3297页

作者：于苹苹倪建成姚彬修李淋淋曹博曲阜师范大学信息科学与工程学院山东日照276826 曲阜师范大学软件学院山东曲阜273100

针对K-最近邻（KNN）分类算法时间复杂度与训练样本数量成正比而导致的计算量大的问题以及当前大数据背景下面临的传统架构处理速度慢的问题，提出了一种基于Spark框架与聚类优化的高效KNN分类算法。该算法首先利用引入收缩因子的优化K-... 详细信息

针对K-最近邻（KNN）分类算法时间复杂度与训练样本数量成正比而导致的计算量大的问题以及当前大数据背景下面临的传统架构处理速度慢的问题，提出了一种基于Spark框架与聚类优化的高效KNN分类算法。该算法首先利用引入收缩因子的优化K-medoids聚类算法对训练集进行两次裁剪；然后在分类过程中迭代K值获得分类结果，并在计算过程中结合Spark计算框架对数据进行分区迭代实现并行化。实验结果表明，在不同数据集中传统尽最近邻算法、基于K-medoids的群最近邻算法所耗费时间是所提Spark框架下的B最近邻算法的3．92-31．90倍，所提算法具有较高的计算效率，相较于Hadoop平台有较好的加速比，可有效地对大数据进行分类处理。

关键词： K-最近邻聚类收缩因子 K-medoids Spark 并行化计算

在线全文

学校读者我要写书评

暂无评论

压缩感知重构算法的并行化及GPU加速

山东大学学报（工学版） 2018年第3期48卷 110-114页

作者：何文杰何伟超孙权森南京理工大学计算机科学与工程学院江苏南京210094 电子科技大学计算机科学与工程学院四川成都610054

针对压缩感知重构算法计算实时性太差的问题,提出压缩采样追踪匹配(compressive sampling matching pursuit,Co Sa M P)算法的并行化加速算法。基于多线程技术实现重构算法的粗粒度并行化,分析Co Sa M P算法的计算热点,将其中耗时较多... 详细信息

针对压缩感知重构算法计算实时性太差的问题,提出压缩采样追踪匹配(compressive sampling matching pursuit,Co Sa M P)算法的并行化加速算法。基于多线程技术实现重构算法的粗粒度并行化,分析Co Sa M P算法的计算热点,将其中耗时较多的矩阵操作移植在图形处理器(graphics processing unit,GPU)上,实现算法的细粒度并行化。在测试图像上进行试验,结果表明:并行化加速算法取得50倍的加速效果,有效地降低重构算法的计算时间开销。

关键词：压缩感知重构算法算法加速并行化计算图形处理器

基于流计算的分布式视频目标实时追踪系统设计与实现

在线全文

学校读者我要写书评

暂无评论

基于流计算的分布式视频目标实时追踪系统设计与实现

作者：赵晨飞电子科技大学

学位级别：硕士

智能化无人装备因低成本、高机动性及零伤亡等特点在现代军事和民用领域中都发挥着不可或缺的作用。在无人设备进行人员监控、组织救援等工作时,需要通过智能化的目标追踪系统对采集的视频图像进行传输并利用目标检测与跟踪等深度学习... 详细信息

智能化无人装备因低成本、高机动性及零伤亡等特点在现代军事和民用领域中都发挥着不可或缺的作用。在无人设备进行人员监控、组织救援等工作时,需要通过智能化的目标追踪系统对采集的视频图像进行传输并利用目标检测与跟踪等深度学习算法模型进行计算分析,为下一步行动提供决策基础,由于无人机、无人车所搭载的硬件设备性能有限,在数据计算量较大时就会因单机算力不足而导致系统无法正常运行,而基于批处理或微批处理的分布式目标追踪系统计算时会产生批处理延迟,无法适用于时效性要求较高的场景中。鉴于此,本文基于分布式流处理技术提出一种视频目标追踪实时计算框架,首先对视频多目标跟踪算法模型进行研究改进,实现视频目标追踪速度与精度的平衡,然后设计并实现视频流数据消息聚合中心,完成视频流数据在集群的分布式传输与存储,接着提出分布式视频流处理策略,从数据输入、处理、模型加载、模型预测等目标追踪计算步骤出发实现深度学习模型在分布式流处理环境下的有效运行,最终实现基于流计算的分布式视频目标实时追踪系统。主要研究内容如下:1.效率改进的多目标追踪算法。为实现视频人体目标的高效追踪,本文对YOLOv4目标检测算法和Deep SORT目标追踪算法进行效率调优,在降低模型计算量的同时提升了追踪的稳定性。通过对两种算法模型的输入输出结构进行有机结合,实现了本文系统搭载的多目标追踪算法,在满足系统精度要求的基础上提升了目标追踪计算效率。2.视频流数据消息聚合中心。为实现分布式流计算环境下视频数据的高效传输存储与计算,本文提出基于Kafka的视频流数据消息聚合中心来完成数据处理与计算的解耦,在数据接收端,对视频数据进行序列化和分区存储策略设计,完成了视频流的分布式存储与传输;在数据消费端,从数据并行角度设计了一种基于视频分段的消费策略,使得系统能够并行化的拉取数据流用于目标追踪实时计算,提高了系统可用性。3.分布式视频流处理策略。为实现目标追踪算法的分布式运行,本文以Flink分布式流处理框架为基础,从数据输入、处理、模型加载、模型预测等目标追踪计算步骤出发,设计并实现了一种目标追踪任务在流计算环境下的处理策略及其对应模块,最终实现了视频目标追踪任务的分布式实时运算。

关键词： Flink 多目标追踪 Kafka 并行化计算分布式流计算

基于CFD模型的设施温室小气候环境预测和控制研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于CFD模型的设施温室小气候环境预测和控制研究

作者：侯思宇南京农业大学

学位级别：硕士

随着农业现代化推进,设施农业已成为发展农业现代化基础指标。现代温室能够为作物提供适宜的生长环境,实现作物的高效高质生产。其中,温室的环境调控作为调节作物生长环境的主要手段,是实现现代温室的关键技术之一。对被控对象建立精确... 详细信息

随着农业现代化推进,设施农业已成为发展农业现代化基础指标。现代温室能够为作物提供适宜的生长环境,实现作物的高效高质生产。其中,温室的环境调控作为调节作物生长环境的主要手段,是实现现代温室的关键技术之一。对被控对象建立精确的数学模型是传统控制方法的主要形式,建立合理精确的温室环境模型是实现温室环境控制的重要前提。由于温室环境的复杂性,在模型的建立过程中往往含有不确定的参数,因此需要对模型进行参数辨识。基于计算流体力学(Computational Fluid Dynamics,CFD)的建模技术,虽然可以模拟温室小气候环境,但CFD计算量大,计算耗时久,因此需要对其进行并行计算。计算以溧阳地区温室大棚为研究对象,建立夏季、秋季、冬季温室小气候环境的CFD模型,在MATLAB与FLUENT协同平台上实现对温室CFD模型的参数辨识,并搭建四种不同并行结构的计算平台,对比得到并行效率最高计算平台,并在此基础上探索了基于CFD模型的温室小气候环境预测控制方法。论文主要研究内容有以下几点:(1)在对温室合理简化的基础上,采集数据,构建夏季自然通风条件下、秋季自然通风条件下、冬季封闭条件下温室小气候环境CFD模型。在FLUENT平台的单机单核、单机多核、多机多核三种运行环境下对夏季自然通风条件下、秋季自然通风条件下、冬季封闭条件下的温室CFD模型分别进行计算,所得温室温湿度分布符合实际,且在单机单核环境下计算耗时300s在单机多核与多机多核的并行环境下计算耗时90s,并行环境下,计算耗时大幅减少。此模型的建立为后续模型参数辨识与预测控制做好了准备。(2)在MATLAB并行化环境搭建与程序设计基础上,实现PPSO算法(Parallel Particle Swarm Optimization)对温室CFD模型参数辨识。其中MATLAB作为PPSO算法运行平台,FLUENT作为温室CFD模型计算平台,利用MATLAB与FLLUENT的I/O文件操作功能,建立基于共享文件机制下的MATLAB与FLUENT协同平台,CFD模型参数辨识及后续试验均在此平台上完成。设计搭建了四种结构的计算平台并对比各计算平台下温室环境CFD模型参数辨识的计算效率,结构1单机单核PSO+单机多核FLUENT计算耗时9.6h;结构2单机单核PSO+多级多核FLUENT计算耗时30.1h;结构3单机多核PPSO+单机多核FLUENT计算耗时11h;结构4多机多核PPSO+单机多核FLUENT计算耗时5.7h。结构4计算耗时最短、效率最高,解决了温室CFD模型辨识耗时久的问题,故结构4为最优计算结构。(3)基于最优计算结构,利用最优辨识参数建立温室环境CFD预测模型,分别对夏季自然通风条件下、秋季自然通风条件下、冬季封闭条件下的CFD预测模型的预测结果与实测结果进行对比分析。在最优辨识参数取值下温室预测模型的预测结果与实测结果误差较小。因此辨识到的最优参数合理,建立的温室环境CFD预测模型有效。(4)基于MATLAB与FLUENT协同平台,探索研究基于CFD模型的温室环境模型预测控制(Model Predictive Control,MPC)方法。模型选择为湿帘-风机通风条件下的温室CFD模型,控制设备选择为温室的湿帘和风机,预测时域设置为3,采样时间设置为6。将其结果与同等条件下采用比例-积分-微分控制(Proportion Integral Derivative,PID)此温室CFD模型结果对比,MPC控制算法下温室温度计算结果与参考温度绝对偏差为1.27℃,相对湿度计算结果与参考相对湿度绝对偏差为18%。PID控制算法下温室温度计算结果与参考温度绝对偏差为1.83℃,相对湿度计算结果与参考相对湿度绝对偏差为18.89%,因此使用MPC控制算法结果稳定且优于PID控制。且在MPC控制算法最优控制量下,温室温湿度空间分布情况较符合实际情况。

关键词：温室小气候计算流体动力学并行化计算参数辨识预测控制