面向DNN快速训练的高并发NVM存储系统

作     者：王飞 

作者单位：江苏大学 

学位级别：硕士

导师姓名：蔡涛

授予年度：2022年

学科分类：08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：非易失性存储 DNN训练 高并发 NVM文件系统 NVM设备驱动 存储系统 

摘      要：人工智能的迅速发展导致当前神经网络中参数的规模变得庞大,GPU中显存以及存储系统中的内存也难以在DNN训练过程中保存大量的参数文件。新兴的非易失性存储器NVM由于其读写速度接近DRAM、延迟低、容量大给DNN训练过程中大量的参数文件提供了有效的解决手段。但是如果直接仅仅更新存储设备,不做存储系统的优化,难以充分使用NVM存储设备的性能。本文在DNN训练过程中需要反复读写参数文件的背景下,针对NVM存储设备通过优化文件系统层和设备驱动层为目标,研究和设计面向DNN快速训练的高并发NVM存储系统。(1)通过分析当前NVM存储系统面临的挑战,针对DNN训练过程中需要反复读写参数文件,从NVM文件系统层和设备驱动层两方面来进行优化,设计了面向DNN快速训练的高并发NVM存储系统的结构,包括面向DNN的高并发文件系统模块和面向DNN的高并发的NVM设备驱动模块,从而适应DNN训练过程中对于参数文件需要反复读写的特点,充分利用了NVM存储设备的优势,为NVM存储系统的读写带宽和系吞吐量提供了保障。(2)通过分析当前的NVM文件系统,针对DNN训练过程中参数文件读写以及NVM存储设备读写速度快的特点,研究和设计了面向DNN的高并发NVM文件系统。首先,定义了文件系统中基与并发线程的细粒度的结构以及给出了读写DNN参数文件过程基于细粒度锁的加锁和解锁过程;在NVM文件系统中设计了两层日志的结构,并给出了基于两层日志的并发读写策略和一致性保障策略;从而提升了读写参数文件的并发度;最后在开源的文件系统NOVA的基础上实现了面向DNN的高并发文件系统DNNFS,首先测试了DNN训练时读写不同数据集的时间开销,DNNFS相比EXT4最大减少了51.2%的读写时间开销,相比NOVA最大减少了22.1%的读写时间开销。然后测试了HTM不同迭代次数下的参数读写时间开销,DNNFS的参数读写开销相比EXT4最大减少了53.8%,相比NOVA最大减少16.6%。最后使用Filebench、Fio和IOzone中的多个负载进行了测试与分析,在使用多线程并发访问时相比NOVA最大能提高35.8%的IOPS值和21.6%的I/O带宽,相比EXT4最大能提高104.2%的I/O带宽。(3)针对DNN训练过程中要求快速读写大量参数和能容忍一定的参数读写误差等特性,研究设计了面向DNN的高并发NVM设备驱动。首先,设计了读写分离的访问请求管理策略,为提高NVM存储设备驱动并发度提供支撑;然后设计了基于冲突重试的访问请求调度策略,减少DNN参数访问的等待时间;最后在开源的NVM设备驱动PMEM源码的基础上实现了面向DNN高并发NVM设备驱动的原型DNNPMEM,首先测试DNN训练时读写不同数据集的时间开销,DNNPMEM相比PMEM最大减少了20.6%的读写时间开销。然后测试HTM不同迭代次数下的参数读写时间开销,DNNPMEM的参数读写开销相比PMEM最大减少了18.1%。最后利用Fio测试工具对顺序读写、随机读写负载进行了测试,同时使用Filebench中多种不同类型负载测试,实验结果表明DNNPMEM相比PMEM提升了2.2%～28.2%I/O带宽和10.9%～20.9%的IOPS值。