航空管制语音指令的识别与处理系统

作     者：郭东宁 

作者单位：哈尔滨工程大学 

学位级别：硕士

导师姓名：蔡成涛

授予年度：2021年

学科分类：0711[理学-系统科学] 07[理学] 08[工学] 

主      题：航空管制指令 语音识别 自注意力机制 自然语言理解 语义框架 

摘      要：随着航空业的蓬勃发展,空中交通愈加繁忙,对航空管制的需求也越来越大,然而航空管制相关人员的培训成本大,面对繁杂的航行安排又需要较大的人力资源,因此使用机器完成部分航空管制人员的工作成为了迫切的需求,而对航空管制语音指令的识别和处理是完成相关工作的基础。本论文基于航空管制指令的特点,研究了对语音指令的识别和对指令信息的提取和处理相关算法,主要内容如下:论文首先在语音指令识别方面进行了研究,具体分析了语音的采样量化、预处理和特征提取技术,确定提取语音帧的FBank特征作为语音模型的输入。分析对比了不同端到端模型框架及神经网络编码端的识别效果,确定了基于自注意力机制的CTC框架,并在此基础上根据航空管制语音指令特点对自注意力机制进行了改进,提出了CNN-WSA-CTC模型,利用结合3-gram语言模型的语音解码技术,实现了将语音转化为文字的语音识别功能。在指令信息提取和处理方面,论文详细分析了航空管制指令的分类以及指令的语法构成和特点,提出了适用于航空管制指令的语义框架法,利用语义槽提取指令信息,提出改进的IOB标记法,将信息提取过程简化为序列标记过程。使用神经网络序列建模和CRF相结合的方法进行序列标记,提出了SA-CRF模型,并验证了模型的有效性。设计了基于序列标记以及意图匹配的信息提取和语义槽填充流程。然后,论文分析了航空管制指令的发音特点和语句特点,设计了航空管制指令语句的生成方法,并基于航空管制指令语料集录制了30小时语音数据,基于数据集对语音模型、语言模型和序列标记模型进行了训练,设计了模型的最优结构。为了提升模型识别效果,对语音数据进行了伸缩和加噪处理,得到100小时语音数据进行了语音模型的训练,最终在测试集上得到1.44%的字错误率,序列标记模型句错误率为0.33%。模型最终联合测试在无噪音测试集上得到句正确率为93.9%,有噪音测试集上为90.3%。最后,论文设计了航空管制语音指令的识别与处理模拟系统,对语音识别部分和信息提取和处理部分进行了整合,提出流式语音识别方法。基于python的Tkinter框架进行了界面设计,利用Tensorflow框架构建模型,对语音指令的识别和信息提取过程进行了具体实现和测试,验证了模型和系统的有效性。