检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

memcached内存替换算法研究

Memcached内存替换算法研究

作者：余启华中科技大学

学位级别：硕士

随着数据量的增长及应用的扩大,基于内存的数据库在数据访问过程中扮演越来越重要的角色。内存数据库相对于普通持久型数据库有着访问速度快、轻量、易管理等特点,被广泛应用于各种大型数据中心。memcached作为一种常见的内存数据库在Fa... 详细信息

随着数据量的增长及应用的扩大,基于内存的数据库在数据访问过程中扮演越来越重要的角色。内存数据库相对于普通持久型数据库有着访问速度快、轻量、易管理等特点,被广泛应用于各种大型数据中心。memcached作为一种常见的内存数据库在Facebook、Twitter、Sina等中得到应用,然而memcached在内存替换算法上仍存在无法有效地处理数据大小变化较大的不足,当发生“钙化”现象时,memcached会出现命中率降低、访问延迟增大等结果,严重制约了各种依靠Memcahced作为数据缓存的系统的性能。本文对memcached所处理数据的特点进行了研究与分析,发现不同大小的Item的访问对一个Slab是否成为一个热的Slab影响程度不同,而不是以前研究中所提到的固定关系,同时研究了Slab与Item的关系,提出了基于影响因子与淘汰代价的memcached内存替换算法。影响因子是根据不同大小的Item对这个Item所在的Slab是否成为热的Slab影响程度不同而设计的,大的Item比小的Item更能使Slab成为一个热的Slab,进而免于淘汰。同时重新定义了Item平均访问频度这一概念:单个item所承受的访问请求而不是整个Slab;发现了不同顺序的访问对Slab是否成为热的Slab影响程度不同这一现象并采用“半衰期”方法量化这种影响,最后利用这两个因素动态地更新影响因子的大小。淘汰代价指的是淘汰一个Slab和Item的代价,在memcached内存不足时,通过最近访问次数、访问时间、大小等计算淘汰一个Slab及Item的代价大小来确定是淘汰一个Slab还是Item,而不同于以前研究中提到简单的主动与被动Slab淘汰策略。改进的方法提高了memcached在内存不足时处理数据访问的能力。测试结果表明,改进的方法在命中率上有5%左右的提升并将读写延迟降低了2%到4.5%。同时改进方案优化了Slab和Item淘汰数量,最后将改进的方法在pNFS中进行了应用,测试表明改进的方法降低了pNFS系统的读写延迟,最高可达5%。

关键词： memcached 内存替换影响因子淘汰代价

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

memcached内存分配算法及优化

Memcached内存分配算法及优化

作者：王宁华中科技大学

学位级别：硕士

随着Web2.0时代的到来,云计算的兴起,大数据成为业界所关注的焦点。如何高效地处理、存储海量数据成为互联网企业最棘手的难题。Key-Value存储因其结构简单,易于扩展的特点很好地适应了这一需求。memcached作为一款典型的Key-Value存储... 详细信息

随着Web2.0时代的到来,云计算的兴起,大数据成为业界所关注的焦点。如何高效地处理、存储海量数据成为互联网企业最棘手的难题。Key-Value存储因其结构简单,易于扩展的特点很好地适应了这一需求。memcached作为一款典型的Key-Value存储,在各大互联网公司中得到了广泛的应用,学术界的研究也是非常火热。由于memcached使用Slab内存分配器进行内存管理,当负载大小特性发生变化时,无法对当前的内存分配方案进行调整,导致命中率下降,出现内存“钙化”现象。现有的解决方案都是通过内存的重新分配来解决内存“钙化”问题,但是在进行内存重分配时,这些方案对参与重分配的数据进行简单的抛弃,导致重分配后一段时间内命中率的显著下降。针对这一问题,设计并实现了一套高频数据识别与交换算法,在内存重分配之前,对高频数据进行识别,并将参与重分配的高频数据与不参与重分配的低频数据的位置进行交换,使那些对性能影响较大的高频数据在重分配时可以保留下来。算法对数据的频率信息进行收集,按照访问时间的先后顺序对访问设置相应的权重;根据负载的特性调整高低频分界线,使算法可以适用于不同的负载;在交换过程中将高频数据集中存储,降低高低频数据交换的开销,并为超高频数据专门开辟了一块存储空间进行管理,使其不受高低频数据交换的影响。实验结果表明,使用论文方案对现有的两个钙化问题解决方案进行优化后,两个方案的失效率由原来的13.2%、11.6%下降至11.5%、9.8%。响应时间由原来的142毫秒、191毫秒下降为130毫秒、164毫秒,优化效果明显。

关键词： memcached 内存分配算法高低频数据交换

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

memcached访存性能优化

Memcached访存性能优化

作者：刘杰深圳大学

学位级别：硕士

近些年来,社交网络、电子商务等交互网站迎来了巨大的增长。磁盘一直作为存储的主要介质,其I/O性能成为制约服务器性能的瓶颈。memcached有效地解决了基于磁盘的数据库中CPU和磁盘I/O之间的主要矛盾,并且作为一个解决访问距离和提高源... 详细信息

近些年来,社交网络、电子商务等交互网站迎来了巨大的增长。磁盘一直作为存储的主要介质,其I/O性能成为制约服务器性能的瓶颈。memcached有效地解决了基于磁盘的数据库中CPU和磁盘I/O之间的主要矛盾,并且作为一个解决访问距离和提高源服务器能力瓶颈的有效方法得到了越来越广泛的应用。由于memcached的重要作用以及其简单和开源架构,很多研究集中于memcached的性能优化方面。本论文首先剖析了memcached的软件架构并进行完整源码分析,整理memcached的工作原理和流程,为后续分析和研究打下基础。在网络模型方面,memcached基于C/S服务器模型,使用了Reactor事件处理模式和半同步/半异步并发模式;在内存管理方面,memcached使用了slab内存池和LRU(Least Recently Used)实现内存的高效管理;哈希表被用于memcached进行对象的快速查找;在命令分析和处理方面,memcached使用有限状态机。其次本论文从memcached架构和流程的角度,设计一个适合memcached的数据压缩方案。从压缩率以及通用的角度,选择了Zlib数据压缩库中的DEFLATE算法进行压缩功能的实现。实验从对象数量、对象分布情况、命中率、系统延迟、延迟提速比等方面来说明数据压缩能够明显提高memcached的访存性能。在使用数据压缩功能的情况下,memcached只需70%的内存空间就可以达到原先的命中率。接着,本论文分析了memcached的钙化现象及其产生原因,进一步讨论了新增的数据压缩功能对钙化的影响情况。在请求的分布情况随时间变化的情况下,钙化现象明显降低memcached的命中率。本文在Linux的slab分配器思想的基础上提出了调整memcached的slab分配机制;在memcached采用数据压缩功能后而数据特征变化的情况下,提出最小影响因子选择算法来帮助memcached实现内存回收过程中的slab选取问题;两者相结合,可以有效地解决压缩情况下的钙化问题。通过实验测试验证这种方案,并且与其他的解决方法和策略的效果进行比较,效果明显。这种方案有效降低压缩情况下钙化问题对memcached的命中率的影响,提升了10%的命中率。综上,本文从使用数据压缩提高内存存储密度和解决钙化问题提高内存使用率的角度,实现对memcached访存性能进行优化的目标。

关键词： memcached 数据压缩钙化问题访存性能

基于memcached的动态四字双向词典机制

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机应用研究 2011年第1期28卷 152-154,158页

作者：蒋才智王浩合肥工业大学计算机与信息学院合肥230009

词典是汉语机械分词的一个重要组成部分,分词词典机制的优劣直接影响到中文分词的速度和效率。在分析了几种典型的词典机制优缺点的基础上,提出一种基于memcached的动态四字双向词典机制。该词典机制有效减少了文章分词过程中对词典的... 详细信息

词典是汉语机械分词的一个重要组成部分,分词词典机制的优劣直接影响到中文分词的速度和效率。在分析了几种典型的词典机制优缺点的基础上,提出一种基于memcached的动态四字双向词典机制。该词典机制有效减少了文章分词过程中对词典的访问次数,同时具有维护方便及快速添加和删除临时词等优点,适合在Web上采用双向最大匹配算法进行中文分词。

关键词： memcached 动态双向四字词典中文分词

基于memcached的日历搜索引擎系统优化设计与实现

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

计算机应用 2011年第3期31卷 865-868页

作者：薛献鹏彭明田贺怀清中国民航大学计算机科学与技术学院天津300300 中国民航信息网络股份有限公司研发中心北京100176

研究基于航信的日历搜索引擎(CS)系统,针对日历搜索引擎系统计算量大、响应速度慢、重复计算的问题,提出了一种利用memcached对计算单元结果进行缓存的方法,基于此方法对系统架构进行重新设计,并对日历搜索引擎系统进行性能优化。实验... 详细信息

研究基于航信的日历搜索引擎(CS)系统,针对日历搜索引擎系统计算量大、响应速度慢、重复计算的问题,提出了一种利用memcached对计算单元结果进行缓存的方法,基于此方法对系统架构进行重新设计,并对日历搜索引擎系统进行性能优化。实验结果显示该优化方案减少了系统响应时间,使系统性能得到了大幅度的提升,为民航运价领域中日历搜索引擎系统的优化提供了方法和理论支持。

关键词：日历搜索引擎 memcached 最低运价搜索民航

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于阵列码的memcached高性能容错

基于阵列码的Memcached高性能容错

作者：沈璐南开大学

学位级别：硕士

随着互联网技术的飞速发展,Web应用的访问量和其产生的数据量规模不断增加。现阶段,大多数的Web应用都将数据存放在关系型数据库(RDBMS)中,但是由于RDBMS处理数据效率较低,数据库性能已然成为了当下大型Web应用的瓶颈。为了解决这个问题... 详细信息

随着互联网技术的飞速发展,Web应用的访问量和其产生的数据量规模不断增加。现阶段,大多数的Web应用都将数据存放在关系型数据库(RDBMS)中,但是由于RDBMS处理数据效率较低,数据库性能已然成为了当下大型Web应用的瓶颈。为了解决这个问题,近年来一些内存对象缓存系统应运而生,其中memcached正是典型代表。memcached利用服务器的内存对数据进行缓存,这样一来,已经处理过的数据可以直接从memcached服务器读取出来,一定程度上缓解了数据库的访问压力,再加上服务器内存极高的处理效率,使得数据库操作的性能瓶颈从根本上得到了解决。目前memcached已被广泛应用,由于memcached承担的数据缓存量较大,分布式memcached是memcached主要应用形式。作为分布式系统,分布式memcached不得不考虑容错问题,即当有服务器节点宕机时,系统应将缓存在该节点中的数据重构出来,避免相应的数据操作压力重新落回到数据库上,遗憾的是传统分布式memcached并不具备上述容错能力。为了使分布式memcached具备容错能力,相关研究工作已经逐渐展开并取得了一定成果:如Cocytus将纠删码Reed-Solomon(RS)码技术与分布式协议相结合,使分布式memcached具备了基本的容错能力。但是RS码本身较为复杂的计算、数据重构时较高的网络传输代价很容易成为制约memcached数据重构的性能瓶颈。针对以上问题,本文设计并实现了新的分布式memcached容错框架。该框架简化了数据重构流程,并实现了基于奇偶校验阵列码RDP码双容错,在保证分布式memcached容错能力的基础上,优化了数据重构的计算性能。同时,为了进一步减少数据重构过程中的网络传输开销,本文还在容错框架中实现了阵列码的重构优化方案RDOR,使分布式memcached真正具备高性能的容错能力。

关键词： memcached 内存对象缓存数据重构阵列码重构优化

分布式缓存系统memcached的改进研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式缓存系统Memcached的改进研究

作者：付燕燕大连海事大学

学位级别：硕士

互联网企业的不断发展给人们带来便利的线上生活体验,同时也带来了数据量不断增长。因此,大量数据的存储和高速访问成为现在互联网时代发展所面临的最大挑战之一。缓存的概念由处理CPU和内存之间读写速度不匹配引入到提升Web网络应用系... 详细信息

互联网企业的不断发展给人们带来便利的线上生活体验,同时也带来了数据量不断增长。因此,大量数据的存储和高速访问成为现在互联网时代发展所面临的最大挑战之一。缓存的概念由处理CPU和内存之间读写速度不匹配引入到提升Web网络应用系统的整体性能。为了避免集中式缓存服务器引起的缓存数据的频繁swap,导致系统性能下降,进而引入分布式缓存系统。分布式缓存具有良好的高可用性、可扩展性和对用户结构透明的特点。从20世纪90年代开始对其进行相关研究,很多研究成果早已应用于各个大型Web网络应用中。集中或严重倾斜的访问负载问题会使分布式缓存系统出现单个节点压力巨大的问题。本文将对分布式缓存技术进行介绍分析,其中包括分布式拓扑结构、数据缓存策略及其典型的替换策略,进而介绍本文分布式缓存系统使用技术。然后,针对现在互联网普遍使用的典型的分布式缓存系统memcached和Redis进行简单的特性和适用场景的介绍。由本文针对集中的访问负载场景,确定本文将在分布式缓存系统memcached上做出的改进。对分布式缓存系统memcached的客户端和服务器端进行详细的研究与分析,总结分析其所存在不足。针对原memcached系统无冗余机制、在某种突发场景下缓存服务器性能问题和单点失效问题,本文将设计并介绍添加主从模式的分布式缓存MS-memcached架构,进而引入主从一致性、请求"纵向"负载均衡和单点故障问题。本文通过异步消息队列的方式实现主从复制,通过动态反馈负载均衡算法实现请求"纵向"负载均衡,利用选举算法解决单点故障问题。另外,MS-memcached系统通过引入Amazon的数据划分方案使memcached的数据分布达到更加均勾的状态。在实验部分通过在1台PC机和6台缓存服务器上搭建memcached集群进行实验,采用memcached Java客户端whalin-2.5.0-bin中的官方测试数据进行实验测试。根据实验测试结果可知,本文提出方案在没有影响原方案性能的基础上,在出现本文假设的访问负载倾斜情况下,本文设计的主从模式的MS-memcached分布式缓存在多线程下的每秒请求处理数较原memcached方案增加了将近60%,相比原memcached系统可以更好地应对严重倾斜的访问负载。在单点故障的场景下,本文的主从MS-memcached架构也较原memcached有更好的故障处理能力,达到对用户故障透明。并且通过对原memcached的一致性Hash虚节点分配设置方案进行改进,使每台服务器的数据分布更加趋近于理想状态。

关键词： memcached MSmemcached 分布式缓存主从负载均衡

基于GIS和memcached的铁路接触网精细化检修管理系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于GIS和Memcached的铁路接触网精细化检修管理系统的设计与实现

作者：张骞华东交通大学

学位级别：硕士

供电段是铁路系统的重要业务部门之一，主要负责电气化铁路的牵引供电、铁路运输信号供电、铁路地区的电力供应、电力设备的检修与保养等工作。随着电气化铁路改造，南昌供电段进入了电气化自管的新阶段。南昌供电段在人员、设备生产、... 详细信息

供电段是铁路系统的重要业务部门之一，主要负责电气化铁路的牵引供电、铁路运输信号供电、铁路地区的电力供应、电力设备的检修与保养等工作。随着电气化铁路改造，南昌供电段进入了电气化自管的新阶段。南昌供电段在人员、设备生产、安全管理等方面有着完善的管理体系，但信息化管理水平相对落后。随着路局对接触网检修的要求不断提高。为了使管理更加趋于科学、规范、高效，本文结合目前供电段具体业务需求、工作方式，开发并实现了适合南昌供电段的接触网精细化检修管理信息系统。使供电段接触网管理的作业方式，作业流程更加的规范，提高工作效率，为决策层做决策提供有力的依据。本论文主要工作是完成接触网精细化检修管理系统的构架和系统的软件设计与实现。根据南昌供电段的业务要求以及管内接触网的特点，把系统划分为如下几个子系统：人员管理子系统、接触网运行检修子系统、接触网巡视系统、地图信息管理子系统、系统管理子系统等，并对每个子系统进行需求分析，概要设计以及功能实现。论文结合供电段实际业务需求和网络结构，选择应用B/S架构搭建该系统。并深入研究了PHP框架和核心技术，MVC开发模式，针对精细化检修的要求结合百度地图OPEN API加入GIS（地图信息管理），同时为了满足系统运行访问速度的要求加入memcached技术。在此基础上给出总体设计方案。系统在开发过程中采用Apache作为管理系统的Web应用服务器、PHP作为后台的编程语言、采用MySQL作为数据库。HTML、CSS、JavaScript等页面技术作为前台页面的编写工具。广泛调研PHP插件，如PHPExcel、PHPWord等，最后实现了整个系统功能，并在南昌供电段成功应用，通过了南昌铁路局的科技鉴定。

关键词：接触网检修 php GIS memcached 信息管理系统

基于Nginx和memcached的高并发WEB服务器设计

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Nginx和Memcached的高并发WEB服务器设计

作者：戴华复旦大学

学位级别：硕士

随着互联网技术的高速发展,网络信息的访问量也越来越大,人们对WEB网站信息的获取量也越来越大,对同一WEB服务器的并发快速请求量以指数形式增加,从而形成了著名的C10K,甚至C500K问题,而网络操作系统在设计上及应用程序服务本身的特性... 详细信息

随着互联网技术的高速发展,网络信息的访问量也越来越大,人们对WEB网站信息的获取量也越来越大,对同一WEB服务器的并发快速请求量以指数形式增加,从而形成了著名的C10K,甚至C500K问题,而网络操作系统在设计上及应用程序服务本身的特性致使高效并发WEB服务器的设计成为当前互联网技术中的一个重要难题。本文在分析高并发WEB服务器访问的特点的基础上,分析了当前WEB服务器的10模型以及服务器框架,同时对比当前流行的开源WEB服务器lighttpd、 apache、nginx的性能,针对高并发的应用需求,在nginx开源框架的基础上,选用分布式cached型keyvalue数据库：memcached为缓存机制,实现Nginx的upstream模块,从而实现基于nginx和memcached高并发WEB服务器系统。本系统在设计上以非阻塞EPOLL支撑模型为基础,一方便配合使用TCP特殊设置,包括TCPEFER、TCPORK、TCPODELAY、TCPEEPALIVE以及非阻塞式connect策略来减少网络负载,提高响应时间,从而整体上提高网络访问效率,另一方面在nginx基础上实现自定义memcached upstream模块,根据HTTP服务的特点,所有热数据全部缓存到memcached分布式数据库中,从而大大提高数据的访问效率。由于memcached支持一致性hash分布式算法,系统还可以很方便的横向扩展,实现负责均衡和分布式部署策略。最终,经过测试对比,采用nginx+memcached策略一方面能够很好的解决C10/C500K问题,同时,能够将所有的用户请求响应时间限定在1秒以内,从而完全满足当前互联网高速并发WEB服务器设计的需求。

关键词： Nginx 并发服务器 memcached