基于多头注意力机制的BM-Linear信用贷款评估模型

作     者：赵雪峰 吴德林 吴伟伟 王世璇 龙森 ZHAO Xuefeng;WU Delin;WU Weiwei;WANG Shixuan;LONG Sen

作者机构：哈尔滨工业大学(深圳)经济管理学院广东深圳518055 哈尔滨工业大学经济与管理学院哈尔滨150001 

出 版 物：《系统管理学报》 (Journal of Systems & Management)

年 卷 期：2023年第32卷第1期

页      面：118-129页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

基　　金：国家自然科学基金面上项目(72072047) 黑龙江省哲学社会科学研究规划项目(19GLB087) 教育部人文社会科学研究青年基金资助项目(20YJC630090) 中央高校基本科研业务费专项资金资助项目(HIT.HSS.202139,HIT.HSS.202102) 广东省基础与应用基础研究基金联合基金青年基金资助项目(2019A1515110955) 深圳市基础研究专项(自然科学基金)面上项目(JCYJ20190806144607277) 

主　　题：多头注意力机制 Bert Bag-of-Words 信用贷款 深度学习 

摘      要：信贷评估模型可加快放贷效率、缩减放贷时间。利用Pytorch深度学习框架,组合Bag-of-Words及Bert中多头注意力机制得到BM-Linear评估模型,同时在引入多组信贷训练集的前提下,创造性地构建参数独立训练及参数共用训练的对比实验,探究BM-Linear的优异性。研究表明:BM-Linear首先弱化与信贷训练集的对应关系,解决信贷模型受限于信贷场景问题,减少因反复训练模型所造成的放贷效率低下现象;其次,忽略缺失特征并将离散特征转为信贷文本,降低特征处理造成的信贷干扰,提高信贷评估效率;最后,克服因词袋与信贷词语对应关系所带来的词向量固化问题,实现动态词向量过程,进而提高评估准确率。所提出的BM-Linear模型,可为信贷机构高效评估快速放贷提供支持。