基于改进主题分布特征的神经网络语言模型

作     者：刘畅 张一珂 张鹏远 颜永红 LIU Chang;ZHANG Yike;ZHANG Pengyuan;YAN Yonghong

作者机构：中国科学院声学研究所语言声学与内容理解重点实验室北京100190 中国科学院大学北京100049 中国科学院新疆理化技术研究所新疆民族语音语言信息处理实验室乌鲁木齐830011 

出 版 物：《电子与信息学报》 (Journal of Electronics & Information Technology)

年 卷 期：2018年第40卷第1期

页      面：219-225页

核心收录：

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 0808[工学-电气工程] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 081104[工学-模式识别与智能系统] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 

基　　金：国家自然科学基金(11590770-4 U1536117 11504406 11461141004) 国家重点研发计划重点专项(2016YFB0801203 2016YFB0801200) 新疆维吾尔自治区科技重大专项(2016A03007-1)~~ 

主　　题：语音识别 语言模型 隐含狄利克雷分布 长短时记忆 

摘      要：在递归神经网络(RNN)语言模型输入中增加表示当前词所对应主题的特征向量是一种有效利用长时间跨度历史信息的方法。由于在不同文档中各主题的概率分布通常差别很大,该文提出一种使用文档主题概率改进当前词主题特征的方法,并将改进后的特征应用于基于长短时记忆(LSTM)单元的递归神经网络语言模型中。实验表明,在PTB数据集上该文提出的方法使语言模型的困惑度相对于基线系统下降11.8%。在SWBD数据集多候选重估实验中,该文提出的特征使LSTM模型相对于基线模型词错误率(WER)相对下降6.0%;在WSJ数据集上的实验中,该特征使LSTM模型相对于基线模型词错误率(WER)相对下降6.8%,并且在eval92测试集上,改进隐含狄利克雷分布(LDA)特征使RNN效果与LSTM相当。