海量教育资源中小文件的存储研究
Storage Research of Small Files in Massive Education Resource作者机构:电子科技大学计算机科学与工程学院成都611731
出 版 物:《计算机科学》 (Computer Science)
年 卷 期:2015年第42卷第10期
页 面:76-80页
学科分类:08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术(可授工学、理学学位)]
基 金:教育部--中国移动科研基金项目:海量教育资源去存储与获取关键技术研究与实现(MCM 20121041)资助
摘 要:Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低。提出了基于Hadoop的海量教育资源中小文件的存储优化方案,即利用教育资源小文件间的关联关系,将小文件合并成大文件以减少文件数量,并用索引机制访问小文件及元数据缓存和关联小文件预取机制来提高文件的读取效率。实验证明,以上方法提高了Hadoop文件系统对小文件的存取效率。