命名实体识别算法研究及其在领域级智能对话系统中的应用

作     者：方亚博 

作者单位：吉林大学 

学位级别：硕士

导师姓名：贾继伟

授予年度：2024年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：任务型对话系统 命名实体识别 货运领域 Rasa框架 条件随机场 

摘      要：得益于自然语言处理和深度学习技术的快速发展,作为人工智能领域的一项核心技术,智能对话系统成为了近年来的研究热点之一.对话系统使用自然语言和机器交互,通常以各式各样的形式出现在应用和服务中,可以帮助企业或者个人快速高效地解决实际问题,其中任务型对话系统作为智能对话系统的重要分支,旨在完成特定的需求和任务,具有重要的研究意义和应用价值. 任务型对话系统在限定领域中开展具体任务时,受到人工因素等方面的影响,系统的领域适应性还存在一定不足.本文面对特定领域中的信息汇集任务,为了解决关键信息的提取问题,进行命名实体识别算法的研究,选用基础模型条件随机场从领域的非结构化文本中提取关键信息,并基于管道方法设计了一套面向信息汇集的限定领域对话系统的解决方案.解决方案中包含了交互部分、场景分类部分、自然语言理解部分、对话管理部分四个模块,其中场景分类部分是本文解决方案中的创新点之一,可以通过过滤无关场景的干扰,从而降低自然语言理解处理的难度.为了验证解决方案的实际效果,本文根据实际的工业物流信息需求,基于Rasa框架实现了面向信息汇集的货运领域智能对话系统,并根据货运领域中的相关语料构建数据集,对系统中的相关模型和结构设计进行测试实验.结果显示本文解决方案在汇集信息时取得了很好的效果. 本文设计并实现了一套面向信息汇集的限定领域对话系统的解决方案,具备场景分类、自然语言理解、多轮对话管理等能力,并在少量标注数据的情况下,能够维持正常的对话逻辑,从复杂业务场景中精确识别出用户的意图,在非结构化文本信息中提取到关键信息.可以帮助使用人员在汇集信息时更加便捷和高效,能够通过对话系统汇集到的信息为用户构建画像,从而提供更好的服务.这可以为有相关需求的企业提供一套有实际应用价值的设计思路和解决方案.