检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

总线式并行计算构架及数据精密同步机制设计

华中科技大学学报（自然科学版） 2013年第12期41卷 24-28页

作者：周柔刚程鑫周云飞刘广斗华中科技大学数字制造与装备国家重点实验室湖北武汉430074 武汉理工大学机电工程系湖北武汉430070

为满足光刻机控制系统对超过20个处理器同步并行计算的需求,提出了一种多处理器同步控制系统架构.该架构采用一种分布式处理器的数据轮询调度机制,通过基于无握手传输协议的自定义数据总线,实现多块板卡处理器内数据高速低延时共享.为... 详细信息

为满足光刻机控制系统对超过20个处理器同步并行计算的需求,提出了一种多处理器同步控制系统架构.该架构采用一种分布式处理器的数据轮询调度机制,通过基于无握手传输协议的自定义数据总线,实现多块板卡处理器内数据高速低延时共享.为解决多处理器计算同步问题,系统采用时钟校准机制,使得挂接于总线的运动控制卡能够在每个伺服周期进行时钟校准,保证了系统的精密同步运行.在线重构设计实现了系统通过上位机对各个处理器间所需交互数据的灵活在线修改.测试结果表明:系统总线数据交互能力能够达到160m/s,板卡间信号延时低于10ns,能够满足光刻机控制系统的需求.

关键词：自定义总线内存调度 VME总线在线重构机制共享内存

在线全文

学校读者我要写书评

暂无评论

虚拟漫游系统中调度算法的研究与实现

计算机工程 2002年第12期28卷 115-117,202页

作者：喻罡崔杜武王竹荣西安理工大学西安710048

针对虚拟实景空间漫游系统中资源调度问题进行了研究，提出了相关算法。这些算法能充分利用计算机的资源，合理地调度虚拟对象，能在漫游中平滑无延迟地浏览实景图像。算法已在软件中实现，效果较佳。

关键词：虚拟漫游系统调度算法图像处理计算机图形学虚拟现实内存调度智能预测多线程同步

在线全文

学校读者我要写书评

暂无评论

嵌入式GIS的三维地形显示算法研究

测绘科学 2006年第6期31卷 158-159页

作者：范丹丹金梁陈明解放军信息工程大学NDSC研究所郑州450002

本文论述了基于嵌入式G IS的三维地形显示的一系列理论和算法。首先介绍了三维地形显示的基本算法步骤,接下来针对嵌入式系统的特点,提出了三个改进方面,分别是递归细分、坐标变换和内存调度。在论文的最后,给出了实验结果并进行了总结。

关键词：嵌入式GIS DEM模型递归细分投影变换内存调度

基于Spark平台的高校图书馆图书个性化推荐服务研究

在线全文

学校读者我要写书评

暂无评论

基于Spark平台的高校图书馆图书个性化推荐服务研究

作者：程亮深圳大学

学位级别：硕士

在大数据和人工智能的时代背景下,现代互联网的高速发展每天都会产生大量数据,如何对海量数据进行挖掘分析并提取出有价值的信息具有重大研究意义。大数据平台技术的研究和发展就是在这一背景下兴起的。大数据时代信息资讯极度丰富,信... 详细信息

在大数据和人工智能的时代背景下,现代互联网的高速发展每天都会产生大量数据,如何对海量数据进行挖掘分析并提取出有价值的信息具有重大研究意义。大数据平台技术的研究和发展就是在这一背景下兴起的。大数据时代信息资讯极度丰富,信息过载问题日趋严重,个性化推荐系统成为解决信息过载问题的重要过滤工具,能够帮助用户在海量数据集中获取自己所需要的信息。高校图书馆作为信息重要的汇集地,信息资源数量非常庞大,如何帮助读者寻找自己感兴趣的图书信息,也成为个性化推荐技术领域的重要研究对象之一。为了提高推荐效率,解决系统扩展性问题,将推荐系统构建在Spark平台之上,利用Spark强大的大数据处理能力,将大幅度提升推荐系统的性能。本文是基于Spark平台研究并实现针对高校图书馆图书推荐领域的个性化推荐服务,主要研究内容如下:(1)查阅国内外相关文献,概括了个性化推荐技术以及图书馆领域个性化推荐技术的研究现状,研究了大数据技术和个性化推荐技术的起源、发展形势以及基本层次架构。同时,对现在常用的推荐技术进行了对比分析。(2)Spark平台的优化。在利用Spark实现推荐算法并行化过程中,由于数据分布不均匀,使得Spark Shuffle中每个Task在实际运行过程中对内存资源需求不均衡,最终出现数据倾斜,导致内存的浪费和Spark应用程序执行效率低的问题。针对上述问题,本文提出了基于默认公平调度算法改进的自适应调节的Spark Shuffle调度算法,通过实验证明,改进的自适应调度算法,对比默认的公平调度算法,减少Spark Task的运行时间,使集群的整体性能提升了21.5%,从而保证了上层推荐算法的有效执行。(3)基于Spark平台图书推荐算法的实现与优化。利用优化后的Spark平台,结合高校图书馆的实际情况,本文研究并实现了基于读者-读者的协同过滤推荐,基于读者-图书书名的推荐,同时针对基于读者-图书书名推荐结果单一的问题,提出一种混合推荐算法,即将基于读者-图书书名的推荐算法和基于读者-图书分类协同过滤推荐算法结合,通过增加权重系数?,来优化相似度计算结果,使得改进后的相似度可以自行动态调整大小,从而提高相似度计算的准确性。(4)采用学校图书馆2013-2017年的真实借阅数据设计相关实验进行实证研究,最后结果表明,本文提出的混合推荐算法的准确率90.8%,召回率60.8%,都优于单一的基于内容的推荐算法,同时产生推荐结果列表。同时设计了一个简单的基于Spark平台的个性化图书推荐系统,主要包括系统的整体框架,系统的主要模块,并以前端界面的形式实现了读者的个人信息、历史借阅记录、个性化图书推荐列表、相似读者的借阅情况,以及借阅过此本书的读者的借阅情况等系统功能模块。本文的主要贡献及改进如下:(1)在Spark平台优化方面,提出了一种基于公平调度算法改进的自适应调度算法,解决了由于各Task对于内存需求不均衡造成了内存的浪费和Spark Shuffle运行效率较低的问题,保证了上层推荐算法的有效执行。(2)在图书的推荐算法研究中,提出了一种混合推荐算法,并且通过增加权重系数?,来优化相似度计算结果。最终,实验验证本文提出的混合推荐算法的准确率90.8%,召回率60.8%,都优于单一的基于读者-图书书名推荐算法。

关键词： Spark 高校图书馆个性化推荐内存调度协同过滤

Spark大数据平台Shuffle过程性能优化方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

Spark大数据平台Shuffle过程性能优化方法研究

作者：黄珊珊北京工业大学

学位级别：硕士

近年来,随着大数据时代的到来,与之对应的大数据处理技术也不断发展,产生了众多优秀的大数据处理平台,包括Hadoop、Spark和Storm等,其中最惹人注目的当属Spark。随着Spark在国内外的广泛应用,它存在的一些问题也随之暴露。其中一个比较... 详细信息

近年来,随着大数据时代的到来,与之对应的大数据处理技术也不断发展,产生了众多优秀的大数据处理平台,包括Hadoop、Spark和Storm等,其中最惹人注目的当属Spark。随着Spark在国内外的广泛应用,它存在的一些问题也随之暴露。其中一个比较突出的问题是它的性能问题。如何对Spark大数据平台进行性能优化,从而提高集群整体效率,是大数据平台研究的一个重要课题之一。本文以Spark大数据平台的Shuffle过程为研究对象,通过分析Spark大数据平台Shuffle过程的底层执行机制,选择对Spark大数据平台Shuffle过程性能影响最大的两个方面进行研究:压缩算法决策方法和内存调度机制优化,最后设计并实现了一个Spark大数据平台管理和监控系统。首先,本文研究了Spark大数据平台Shuffle过程的实现机制,针对其压缩配置基本依靠用户经验进行配置的问题,提出了基于开销的压缩算法决策模型。实验表明该决策模型可以在小负载测试的基础上预测出实际负载下最优的压缩配置,预测结果的准确率为60%,采用预测的压缩配置相对于默认配置运行时间最高可提高30%,平均可以提高10%;其次,研究了Spark2.x版本、Spark1.6.x版本及以前版本Spark内存机制的不同,指出了在新版本中进行内存调度优化的重要作用。同时研究了Spark大数据平台两种不同内存调度算法FIFO和FAIR,通过实际例子对比了两种内存调度算法在处理均匀分布数据和不均匀分布数据时的性能,分析了两种调度算法的优点和缺点。考虑到FAIR内存调度算法只考虑了Task总数分配的平均性,而没有考虑到不同Task所需内存量的不同,提出了改进的内存调度算法。实验表明该调度算法在处理数据分布不均匀的数据时具有更低的溢出次数和更短的运行时间。最后,针对Spark平台配置和调优对用户基础知识要求较高的问题,设计并实现了一个Spark大数据平台管理和监控系统,该系统的功能是提供一个通用的管理框架,从而使用户摆脱系统低层的操作,以一系列基于可视化界面的管理、监控功能来提供Spark服务。系统最主要的两个功能就是管理和监控,管理功能通过一系列的可视化配置,使用户可以方便的管理集群。总之,本文对Spark大数据平台Shuffle过程性能优化方法进行了有益的探索,并在Spark平台Shuffle过程压缩算法决策和Shuffle内存调度优化两方面取得了一定的成果。这些成果对于Spark大数据平台Shuffle过程性能优化具有重要参考价值,对于提高Spark集群资源利用率具有重要意义。

关键词： Spark Shuffle过程压缩算法内存调度监控系统

面向视觉SLAM的异构处理架构关键技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向视觉SLAM的异构处理架构关键技术研究

作者：李采薇吉林大学

学位级别：硕士

近年来,即时定位与地图构建(Simultaneous Localization And Mapping,SLAM)受到极大关注且被广泛使用在多个领域。例如,视觉SLAM算法在虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality,AR)、无人机领域、无人驾驶以及机器人... 详细信息

近年来,即时定位与地图构建(Simultaneous Localization And Mapping,SLAM)受到极大关注且被广泛使用在多个领域。例如,视觉SLAM算法在虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality,AR)、无人机领域、无人驾驶以及机器人定位导航方面都起到了关键性的作用。视觉SLAM算法对实时性要求很高,并且它通常部署于嵌入式系统。但嵌入式系统对功耗有严格限制,因此,如何为视觉SLAM提供所需的性能,同时又可以满足嵌入式系统功耗要求,是设计人员面临的巨大挑战。图形处理器(Graphics Processing Units,GPU)通常被用作视觉SLAM的重要处理引擎,找到合理的硬件配置参数对于提升视觉SLAM的能效至关重要。本文分析GPU各个设计参数对性能和功耗的影响,发现为视觉SLAM设计节能GPU的指导原则是采用“较多的流式多处理器(Streaming Multiprocessor,SM),足够的流式处理器(Streaming Processor,SP)和寄存器以及较小的缓存(Cache)”。然后,本文进行大规模设计空间探索,并使用两项指数模型拟合帕累托边界。此外,本文构建了基于梯度提升决策树的设计模型以预测给定设计参数下系统的性能和功耗,从而消除了GPU设计人员进行昂贵的系统仿真的需要。实验表明,本文基于梯度提升决策树的模型可以实现内存架构,在集成深度学习加速器后,会导致内存竞争的加剧。本文研究了GPU与深度学习加速器的访存特点,发现了GPU的高度执行并行性与深度学习加速器的高度执行规律性使得他们分别具有不同的内存延迟容忍度。因此,本文提出了基于部件访存特点的内存调度策略,根据内存延迟容忍度的高低,动态调整访存请求优先级,从而避免在产生内存竞争时所带来的性能下降。实验表明,该内存调度策略在将性能平均提高70%、功耗平均降低48%的同时,公平性提高约100%。

关键词：视觉SLAM GPU 深度学习加速器异构架构内存调度

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

海量控制点影像库系统的设计与实现

甘肃科学学报 2019年第1期31卷 49-54页

作者：郭霄吕志勇薛睿长安大学地质工程与测绘学院陕西西安710061 西安理工大学陕西西安710048

针对海量控制点影像管理现状中的不足,提出了基于数据库方式进行控制点影像管理与应用的新模式,并基于内存动态调度,采用VC6.0平台,实现了控制点影像数据库系统。通过该系统在青海第二测绘局的应用实践表明,该系统能够有效提高控制点影... 详细信息

针对海量控制点影像管理现状中的不足,提出了基于数据库方式进行控制点影像管理与应用的新模式,并基于内存动态调度,采用VC6.0平台,实现了控制点影像数据库系统。通过该系统在青海第二测绘局的应用实践表明,该系统能够有效提高控制点影像数据的管理效率,在控制点影像数据的检查、更新以及管理等方面发挥作用。同时,基于数据库方式的控制点影像管理,有益于提高利用控制点对控制点影像匹配的速度,对促进测绘资料的高效利用有着重要意义。

关键词：控制点影像影像匹配内存调度报表生成

在线全文

学校读者我要写书评

暂无评论

YH-1操作系统存贮管理的设计

计算机工程与科学 1988年第2期 26-29页

作者：邓胜兰

一、概述YH—1是亿次巨型机,带有16兆字节的高速大容量主存,采用了先进的流水线功能部件,运算速度可达4000万浮点结果/秒。因此,它主要面向需作大量的科学计算和数据处理的应用课题。由于它的运算速度极高,那些通常在中、小型机上使用... 详细信息

一、概述YH—1是亿次巨型机,带有16兆字节的高速大容量主存,采用了先进的流水线功能部件,运算速度可达4000万浮点结果/秒。因此,它主要面向需作大量的科学计算和数据处理的应用课题。由于它的运算速度极高,那些通常在中、小型机上使用的被认为能够带来较高的内存、CPU 利用率的存贮管理方法,如分页或分段存贮管理等,已不能适用于它,因为极高的速度,会使得伴随着这类存贮管理方式而来的页面中断或段的动态连接和装入变得十分频繁,再加上地址变换,必定会增加系统开销,降低CPU 的实际运算

关键词：内存调度碎片操作系统计算机系统 YH-1

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于嵌入式Linux的TCP通信异常问题

电子技术与软件工程 2019年第18期 14-15页

作者：俞理超胡益群袁昌权许光中船重工第七一五研究所

本文提出了一种基于Linux系统的TCP通信异常问题的可能原因及分析手段,将TCP、任务调度、异常内核处理统一分析。根据实际网络场景,解决了Linux在通信过程中发生的问题,对于类似的TCP通信问题,具有借鉴和指导意义。

关键词：内存调度 Linux Linux内核 TCP