网络安全设备联动系统中小文件存储优化方法研究

作     者：程晓荣 李玉进 李紫君 刘雨晨 

作者机构：华北电力大学河北保定071000 

出 版 物：《电脑知识与技术（过刊）》 (Computer Knowledge and Technology)

年 卷 期：2015年第21卷第12X期

页      面：10-11页

学科分类：0839[工学-网络空间安全] 08[工学] 

主　　题：网络安全 小文件 Hadoop 存储优化 

摘      要：网络系统在运行过程中会产生大量日志,采用Java编程技术将各安全设备日志转换为XML文件。在对日志文件存储过程中,现有的存储系统硬件成本高,扩展能力差,数据并行访问效率低,难以满足网络安全设备联动系统的需求。因此,该文采用基于HDFS的云存储系统对日志文件进行存储。为了提高基于HDFS的云存储系统中小文件存储效率,该文设计了云存储系统中小文件存储的优化方案,主要在小文件合并和小文件检索方面做了优化。该方案结合网络安全设备联动系统中日志文件的特点,首先是根据不同设备的文件进行分类,然后根据小文件在合并后的大文件中的偏移量进行检索。最后采用3组文件集合对优化方案进行了测试,实验结果表明,在不影响存储系统运行状况的基础上,该方案提高了小文件的存储效率和读取效率。