基于注意力机制的中文医疗问答技术研究

作     者：滕腾 

作者单位：哈尔滨工程大学 

学位级别：硕士

导师姓名：潘海为;邱兆文

授予年度：2022年

学科分类：08[工学] 081203[工学-计算机应用技术] 10[医学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：卷积神经网络 注意力机制 堆叠 多尺度 中文医疗问答匹配 

摘      要：随着地球村的逐步形成,互联网开始进入家家户户,现在的人相较于十年前的人可以更便捷的上网,以及线下的医疗资源紧张的这两种情况存在,人们会因此更加优先考虑通过互联网去咨询自己的身体问题。考虑这一问题,国家和医院对此进广招人才,聘请相关工程师开发在线的医疗咨询平台。但是随着上网的人越来越多,咨询的问题逐渐变多,没有足够的医生在后台可以回答问题,所以,考虑如何使用现有的技术使得后台能够智能的自动回答患者的问题,这是急需解决的问题。考虑到大多数的患者问题类似,相似的问题的答案也一定相似,所以考虑采用问答匹配的方法解决上述问题。由于医疗领域不同于通用领域,本文因此对此展开了研究,使得模型可以刚好的适用于中文医疗问答匹配场景中,这里有两个关键问题需要解决:1.对于计算机无法直接处理的文本,本文要考虑如何转换为最佳的可处理的数值形式,同时可以适用于医疗领域。2.得到数值形式表示的文本后如何构建神经网络使其能更好捕捉医疗文本中的语义特征。对于第一个问题,本文比较了从词和字两种细粒度出发去处理文本中的句子,在得到文本序列后做编码。本文发现由于中文医疗领域的专业特殊性,目前的分词工具的效果非常差,这就导致分词错误会影响后续任务,而采用字嵌入不需要分词,可以避免分词错误的问题,故考虑改为字嵌入对文本进行编码,二者实验比较发现字嵌入效果要优于词嵌入,所以实验结论为采用字嵌入,这样可以使得表示文本的矩阵维度减小,又可以减小存储占用和计算次数,同时可以使得整体任务的效果得以提升。对于第二个问题,首先在c Med QA和c Med QA2.0两个数据集上,验证了传统的循环神经网络,卷积神经网络的不同变形做中文医疗问答匹配的效果,并对于不同模型,将其比较分析优劣。然后引入注意力机制后,得到基于注意力机制的堆叠卷积神经网络,比较其与上述模型的效果,结论为引入注意力机制后,任务的效果可以得到提升。为了更好的完成中文医疗问答匹配任务,本文考虑进一步提高模型的效果,以及提高模型对不同数据集的鲁棒性,又在c MQA数据集上做实验,c MQA数据集为他人利用爬虫技术,在多个不同的中文医疗咨询平台的问答数据收集而成,其负样本比例更高,并且在本文讨论的专业领域中,该数据集相较其他数据集,目前其为数量最大的数据集。本文在c MQA数据集上又验证了上述模型。接着又对引入了注意力进制的堆叠卷积神经网络进行优化,在原模型中加入多尺度卷积核,这样可以从广度上增加可捕捉的语义。对优化后的模型进行了验证。在上述的几个数据集上进行了实验,将几个模块进行对比,证明了优化后的各个模块引入注意力机制和改进的模型引入注意力机制都可以使得效果提升。对于中文医疗问答系统的构建,本文提供了可以参考的算法,其效果可以满足需求。