检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于预取策略的高效移动邮件系统研究

计算机应用与软件 2012年第1期29卷 106-108页

作者：肖四友浙江万里学院智能控制研究所浙江宁波315100

伴随3G推广应用,智能手机有了很大的技术进步,对于其邮件系统的更新设计也成为必要。结合当前智能手机及电子邮件领域的相关技术,在Ophone平台下设计了电子邮件平台,依照MOSS协议完善邮件客户端收发过程的安全保障,并利用最先访问算法... 详细信息

伴随3G推广应用,智能手机有了很大的技术进步,对于其邮件系统的更新设计也成为必要。结合当前智能手机及电子邮件领域的相关技术,在Ophone平台下设计了电子邮件平台,依照MOSS协议完善邮件客户端收发过程的安全保障,并利用最先访问算法实现邮件预取策略下邮件的快捷接收,达到了智能手机的高效邮件系统的设计和实现。

关键词：预取策略智能手机邮件客户端 MOSS协议

基于动态预取策略的容器写时复制机制优化研究

在线全文

学校读者我要写书评

暂无评论

基于动态预取策略的容器写时复制机制优化研究

作者：刘伟华中科技大学

学位级别：硕士

随着计算机技术的不断发展,用户越来越关注应用和服务的本身,而希望臃肿的底层多余的操作系统等环境得以复用。因此容器技术的产生满足了用户对轻量级虚拟化的需求。目前Docker作为主流的容器解决方案,其存储驱动均采用了写时复制(Copy-... 详细信息

随着计算机技术的不断发展,用户越来越关注应用和服务的本身,而希望臃肿的底层多余的操作系统等环境得以复用。因此容器技术的产生满足了用户对轻量级虚拟化的需求。目前Docker作为主流的容器解决方案,其存储驱动均采用了写时复制(Copy-on-Write)技术。底层的镜像文件作为只读层存在,而由镜像文件启动的容器层则作为读写层,用来存储容器个体的私有数据。写时复制机制满足了不同容器对同一镜像文件的共享需求。然而由于对于单个容器来说,每次在访问镜像文件时都需要先将其copy up到上层的读写层,这会带来额外开销,尤其在被访问的镜像文件较多较大时,这种额外开销变得无法忽视。因此优化容器写时复制机制带来的额外开销是非常必要的。为了解决写时复制机制给容器内应用/服务带来的额外开销问题,设计并实现了DPSO,一种基于动态预取策略的子系统。DPSO的优化方向是基于Docker镜像和容器之间的关联性,形成每个镜像对应的历史记录,并通过动态预取策略筛选历史记录,最后根据筛选结果在容器启动初期就对一部分镜像文件来执行预先的写时复制操作。通过这种策略,DPSO可以较为准确地在容器启动初期将该容器极可能会执行copy up的文件预先copy up到该容器的读写层,从而消除应用运行时由写时复制机制带来的额外开销。实验结果表明,DPSO系统在复杂场景下,动态预取策略的预取准确率平均可达78%以上,基于预取的准确性可以有效消除写时复制机制带来的额外开销。

关键词：容器写时复制存储驱动预取策略

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

移动环境下支持实时事务处理的数据预取

计算机学报 2008年第10期31卷 1841-1847页

作者：李国徽杨兵陈辉杜建强华中科技大学计算机学院武汉430074 江西中医学院计算机学院南昌330006

随着移动通信技术的迅速发展,人们提出了新的应用要求:在移动环境下处理实时事务.而移动通信带宽有限性引起较大的数据访问延迟,有时甚至由于网络传输的断接使得事务得不到所需要的数据,数据预取能够很好地解决这个问题.已有的移动环境... 详细信息

随着移动通信技术的迅速发展,人们提出了新的应用要求:在移动环境下处理实时事务.而移动通信带宽有限性引起较大的数据访问延迟,有时甚至由于网络传输的断接使得事务得不到所需要的数据,数据预取能够很好地解决这个问题.已有的移动环境下数据预取没有考虑到数据的流行性和事务的时间特性.该文分析影响实时事务数据预取的因素,首先考虑数据易变性、活跃性等因素,获得高价值预取数据集合;然后考虑访问预取数据的事务优先级、数据流行性等因素,构造预取数据的选择函数,通过该函数在前面选取的集合中筛选出对满足实时事务截止期更有价值的数据对象进行预取.实验表明,该数据预取策略能降低移动实时事务满足截止期的比率,更好地支持移动实时事务处理.

关键词：数据预取移动实时事务缓存失效预取策略

在线全文

学校读者我要写书评

暂无评论

嵌入式移动数据库的客户机端Cache管理

计算机工程 2004年第9期30卷 82-84页

作者：孙元超邵时华东师范大学计算机科学技术系上海200062

嵌入式移动数据库是一个具有广阔应用前景的新兴技术，具有嵌入式系统和移动计算的应用特点，有许多关键技术亟待研究和解决。主要论述数据广播技术中客户机端Cache的管理，通过对移动数据库应用中Cache的替换策略、数据预取策略和数据... 详细信息

嵌入式移动数据库是一个具有广阔应用前景的新兴技术，具有嵌入式系统和移动计算的应用特点，有许多关键技术亟待研究和解决。主要论述数据广播技术中客户机端Cache的管理，通过对移动数据库应用中Cache的替换策略、数据预取策略和数据一致性问题的讨论，探讨如何更好地减小客户机端访问请求的平均响应时间。

关键词：嵌入式移动数据库替换策略预取策略数据一致性 Cache管理

在线全文

学校读者我要写书评

暂无评论

高带宽远程内存结构中的预取研究

计算机科学 2005年第8期32卷 15-20页

作者：许建卫陈明宇包云岗中科院计算技术研究所国家智能计算机研究中心北京100080

高速电路和光互联技术的发展极大地提高了网络的速度与带宽。因而,突破高性能计算机 CPU与内存紧耦合的传统结构成为可能,CPU与内存的耦合不再受距离的限制,这必将引起体系结构的变革。文[1]提出 DSAG结构——CPU与内存在空间上分离,每... 详细信息

高速电路和光互联技术的发展极大地提高了网络的速度与带宽。因而,突破高性能计算机 CPU与内存紧耦合的传统结构成为可能,CPU与内存的耦合不再受距离的限制,这必将引起体系结构的变革。文[1]提出 DSAG结构——CPU与内存在空间上分离,每个CPU节点上仅留少量内存,将海量内存放在远程统一管理作为内存服务器,CPU节点和内存服务器之间通过高速网络互连。这种新的体系结构带来了更好的共享性和可扩展性,但同时也对我们解决CPU和内存之间的不平衡性问题带来了挑战。为了降低DSAG这种远程内存结构增加的访存时延,我们考虑到CPU正常访存没有充分利用网络的高带宽,因此可以利用剩余的网络带宽来进行远程内存数据的预取。本论文在应用程序执行时记录本地(相对于远程内存)不命中的地址信息,以页对齐分析其中存在的页框流(Page Frame Stream)的统计特征,并提出可基于页框流的预取机制可降低访存延迟、提升系统性能的观点。最后我们采用模拟的方法验证了观点的可行性与正确性,进一步提出了三种预取策略,比较并分析影响预取效果的因素。

关键词： DSAG结构页框流内存结构预取策略高带宽远程高性能计算机网络互连高速电路体系结构

在线全文

学校读者我要写书评

暂无评论

基于AOP的智能Web缓存框架

计算机工程 2008年第22期34卷 283-284,F0003页

作者：邓磊陈志刚黄键邱亮中南大学信息科学与工程学院长沙410083

通过引入面向方面编程技术,提出一种新的智能Web缓存框架。描述该框架的组成结构与工作原理,对缓存设计时需要解决的透明性、一致性、替换算法和预取策略等主要问题进行讨论并给出性能测试和分析。实验结果表明,该缓存框架可较大程度提... 详细信息

通过引入面向方面编程技术,提出一种新的智能Web缓存框架。描述该框架的组成结构与工作原理,对缓存设计时需要解决的透明性、一致性、替换算法和预取策略等主要问题进行讨论并给出性能测试和分析。实验结果表明,该缓存框架可较大程度提高Web应用系统的性能。

关键词： Web缓存面向方面编程技术一致性替换算法预取策略

一种基于SQUID的流媒体代理CACHE的设计与实现

在线全文

学校读者我要写书评

暂无评论

计算机应用 2004年第3期24卷 128-131页

作者：余胜生易炜周敬利胡熠锋华中科技大学计算机科学与技术学院湖北武汉430074

提出了一种基于SQUID的流媒体CACHE的设计和实现机制,它对层次编码的流能提供自适应的服务质量。首先给出了一个CACHE的体系结构,然后分别阐述了CACHE中的存储管理、预取策略和替换策略,最后给出了实验结果。

关键词：流媒体代理CACHE SQUID RTP 预取策略替换策略层次编码

在线全文

学校读者我要写书评

暂无评论

Web数据缓存与预取一体化的研究与应用

Web数据缓存与预取一体化的研究与应用

作者：曹英斌东北大学

学位级别：硕士

微博客伴随着Web2.0的步伐已近渐渐成为了互联网的主流应用之一。仅新浪微博就有近亿的注册用户,每天的微博发布量高达千万。如此庞大的信息量必然引发了更大的用户访问量,随之而来的则是各级服务器的负载加重以及网络访问的延迟。这些... 详细信息

微博客伴随着Web2.0的步伐已近渐渐成为了互联网的主流应用之一。仅新浪微博就有近亿的注册用户,每天的微博发布量高达千万。如此庞大的信息量必然引发了更大的用户访问量,随之而来的则是各级服务器的负载加重以及网络访问的延迟。这些问题必然会降低用户体验,影响微博客的进一步发展。解决以上问题的关键就是Web数据的缓存与预取技术。缓存通过在网络的节点中存储数据从而有效的减少了对于源服务器的访问和缩短了获取数据的时间和距离;预取技术通过预测并提前获取未来的访问数据,能够有效的减少用户的访问等待时间。但是,目前对于这两项技术的研究都不能很好应对微博客这种新型网络应用的数据特性。微博客具有很强的时效性,同时每条微博有固定的大小,其关注／被关注的特点更容易形成固定的访问模式。因此,本文针对微博客的这些特点提出了与基于时间约束的缓存置换算法和数据预取算法,并将二者有效地结合,从而有效的提高了访问效率并且缩短了访问时间,对于节约了网络资源和提高用户体验有重要的意义。本文在传统的缓存置换算法基础上,提出了综合考虑数据对象的访问时间、大小和预测性能的缓存置换算法。当缓存剩余空间不足时,缓存置换算法通过计算数据对象多个评价参数的综合权值来决定将哪些数据副本置换出缓存空间。算法充分考虑了微博客小而快的数据特性,优先置换出较大的且长时间没有被访问的数据,保证小数据的“新鲜”。同时在现有的prefixSpan序列模式挖掘算法的基础上进行改进,加入时间约束条件,使之更符合微博客访问序列的挖掘。随后将获得的用户访问序列中的频繁序列与当前用户访问序列相匹配,通过滑动窗口方法对用户的访问行为做出预测。最终提出Web缓存与预取一体化的模型,将缓存与预取两项技术结合起来,达到更好的改进效果。本文的最后部分通过真实的访问日志数据,对缓存与预取一体化的模型进行了仿真模拟。通过对比其他几种缓存置换算法的效率,验证了本文提出的缓存与预取一体化模型的良好性能。

关键词： Web缓存日志挖掘预取策略缓存与预取一体化

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

深度学习应用场景下的HDFS性能优化

深度学习应用场景下的HDFS性能优化

作者：鲍裕麟中国科学技术大学

学位级别：硕士

近年来,许多领域的数据量都在以惊人的速度增长,及时对数据进行收集、储存和分析,对于构建高效的业务解决方案至关重要,深度学习是高性能数据分析（HPDA）的典型应用。大多数深度学习应用是I/O密集型的,区别于传统应用,具有随机访问、... 详细信息

近年来,许多领域的数据量都在以惊人的速度增长,及时对数据进行收集、储存和分析,对于构建高效的业务解决方案至关重要,深度学习是高性能数据分析（HPDA）的典型应用。大多数深度学习应用是I/O密集型的,区别于传统应用,具有随机访问、超大数据集、高重叠、高聚集、大热点等特性,对支撑其运行的存储系统提出了较高的要求。Hadoop分布式文件系统（HDFS）基于Google公司的GFS,目前已广泛部署在深度学习与HPC集群上。它的原始设计是利用大量分布式的廉价存储资源为用户提供容量大、性能高的存储服务,目前已无法有效满足深度学习应用的I/O需求。针对这一问题,本文首先提出了多级缓存的架构,并建立了缓存成本与收益的数学模型,接着提出了针对深度学习应用的缓存联合部署、大文件预取和小文件缓存三种优化方案。具体研究工作如下:①本文使用多级缓存的思想,并在HDFS数据节点上将传统硬盘与SSD进行整合,满足了深度学习应用对于云存储系统大数据,高带宽的要求。同时,建立各级缓存的效用模型,在综合考虑成本与性能的条件下,较为精确地求解出各级缓存的最优空间大小。②基于理论分析与真实平台数据,本文刻画了深度学习训练集与用户请求特征,提出了联合缓存部署、大文件预取和小文件缓存三种优化策略。其中,联合缓存部署策略通过计算各训练集副本的增益,使用贪婪算法进行部署;大文件预取在顺序读的场景下,将文件后续部分预先存入内存;小文件缓存则满足了深度学习应用场景中更多的I/O请求。为了评估所提模型与策略的性能,本文进行了大量的仿真与实际测试。实验结果表明,本文所提出的缓存效用模型在多种情况下均可以较好地针对各级缓存进行拟合,最大误差仅为2%,联合缓存部署方案缓存命中率明显优于LRU,大文件预取和小文件缓存策略平均性能提升分别超过40%和90%,较好地实现了深度学习应用场景下HDFS的优化目标。

关键词：深度学习应用 Hadoop文件系统缓存效用缓存策略预取策略