提升Web服务响应的Cache调度技术的研究与实现

作     者：王冬青 

作者单位：南京邮电大学 

学位级别：硕士

导师姓名：孟旭东

授予年度：2016年

学科分类：08[工学] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：Web Cache 调度技术 Web预取 日志分析 朴素贝叶斯算法 

摘      要：随着互联网技术的飞速发展以及网民数量的快速增加,网络传输的数据量呈指数级增加,导致了Web服务器过载以及用户使用体验下降,Web Cache置换技术与网页预取等调度技术成为了解决这一问题的主要方法。本文研究了Web Cache置换技术与Web预取技术,提出基于学习的Cache置换算法(LBR, Learning Based Repalcement)以及基于用户访问序列匹配的网页预取算法,并将二者有机结合,提出一种智能页面快速置换系统,并在Nginx服务器上实现。该系统主要由三个模块组成：日志处理模块、C ache置换模块和Web预取模块。(1)日志处理模块对用户历史访问日志分析,通过数据处理、用户识别、会话识别和路径填充这四个步骤,得到用户历史访问序列以及Web精确日志记录;(2)Cache置换模块使用日志处理模块产生的Web精确日志记录,通过朴素贝叶斯算法中的贝努利模型分析处理,得到Cach e存储器里Web对象被再次访问到的权重,并形成权重表。当Cache置换模块接收到置换命令时,就会根据权重表删除那些权重较低的Web对象,直到释放了占Cache存储器5%内存大小的空间;(3)Web预取模块使用日志处理模块产生的用户历史访问序列,并用WAP树保存,使用用户历史访问序列与用户当前的访问序列进行匹配,将匹配到的Web页面预取到Cache存储器内。最后,通过实验对Web预取算法中的预取阈值进行了分析,计算了LBR算法的命中率HR以及字节命中率BHR。比较了系统开启Cache与关闭C ache之间的性能差异,通过性能测试,给出了智能页面快速置换系统的性能指标。