基于K-L散度的int8量化方法研究与框架实现

作     者：钱源 

作者单位：中国科学院大学(中国科学院人工智能学院) 

学位级别：硕士

导师姓名：郭崎;孟小甫

授予年度：2020年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

主      题：神经网络执行框架 神经网络 量化方法 K-L散度 AI处理器 

摘      要：我们处在互联网的高速发展时期,计算机科学在生活中扮演着越来越重要的角色,人工智能AI(Artificial Intelligence),作为近几年计算机科学中最热门的分支,逐渐走进人们的日常生活,比如智能机器人、语音识别、图像识别、自然语言处理等。卷积神经网络(简称为神经网络)作为深度学习的重要研究手段,具有优秀的特征提取能力和抗噪声能力。同时,由于神经网络的复杂性,导致它对数据量、计算能力以及带宽的要求非常高。为了解决上述存在的问题,研究人员针对神经网络做了很多特殊的优化,优化手段包括压缩、编码和量化。作为常用的优化手段,量化在大多数神经网络中都取得了不错的结果。本论文的主要工作分为以下两个方面:(1)为了解决量化模型的精度损失问题,在传统int8量化方法的基础上,设计了基于K-L(Kullback-Leibler divergence)散度的int8量化方法。与传统的量化模型相比,通过K-L散度量化出来的int8模型具有更高的模型精度,适合应用于“AI医疗、“AI翻译、“目标识别等高精度的场景中;(2)本文在理解神经网络执行框架实现原理的基础上,对框架的功能进行拓展。根据软件设计的思想,在框架中实现了一个量化模块,专门用于量化float32模型。通过该模块,用户可以轻松地将float32模型转换成int8模型。在量化模块的内部,包含了在线量化模块和离线量化模块。对于在线量化模块来说,用户不用对代码进行任何修改就可以直接运行模型,验证int8量化后的结果。对于离线量化模块来说,本文提供了一套完整的离线量化方案,用户可以通过该方案直接生成离线模型。理想情况下,离线模型可以在不依赖任何框架的代码的情况下,独立运行。同时用户可以不用考虑框架和生产环境的差异,直接将离线模型集成到应用中,极大地简化了模型的部署和应用。本文中的int8量化方法和量化模块是一套完整的神经网络量化方案,对于发挥AI处理器低功耗、高并发计算的特点具有实际价值和意义。