基于深度神经网络的法律咨询用户意图理解研究与实现

作     者：杜思佳 

作者单位：哈尔滨工业大学 

学位级别：硕士

导师姓名：张宏莉

授予年度：2019年

学科分类：12[管理学] 0301[法学-法学] 03[法学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 030106[法学-诉讼法学] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：人工神经网络 深度学习 意图理解 法律服务 

摘      要：随着人工智能技术的发展和人民法律服务需求的增大,将人工智能技术应用于法律服务领域,构建高度智能化的法律咨询和服务系统,对于人们获取更为便利和快速的法律服务,节省在法律服务体系中的人力资源投入具有重要意义。其中,对于法律咨询用户意图的理解和识别是其重要组成部分。准确的用户意图理解和识别可以通过确定反馈类别来提供约束条件,缩小检索范围,对于后期任务中更为精确的信息检索和结果反馈起到了非常关键的作用。本文主要研究基于深度神经网络的法律咨询用户意图理解和识别,研究主要从用户法律咨询文本数据建模和形式化表示、基于深度神经网络的法律咨询用户意图理解算法研究,以及基于多义词词向量模型的法律咨询用户意图理解算法研究三部分展开。用户咨询文本数据建模和形式化表示主要是对用户咨询数据进行文本建模,进行形式化的表示,主要包括数据集获取、文本预处理、以及词向量训练,用户咨询数据转换为词级别的分布式表示,为后续意图理解任务的进行提供可计算的输入形式。在基于深度神经网络的法律咨询用户意图理解算法的研究中,本文提出了一种基于注意力机制和卷积神经网络的用户意图理解模型,其中,注意力机制基于缩放点积注意力机制,并使用卷积神经网络进行文本特征提取,然后通过多层线性网络进行特征分布拟合,最后通过softmax层输出在各个类别的概率。在本文的实验中,此模型在用户法律咨询数据集上的准确率相比softmax回归分类器和TextCnn文本分类模型都有所提高,其中相对softmax回归分类器其准确率提高了2.29%。在基于面向多义词的词向量模型的法律咨询用户意图理解算法研究中,本文主要对ELMo语言模型、Bert语言模型和FastText分类模型中的多义词语义获取原理进行了分析,并以此为基础进行用户意图理解算法的研究。实验证明,基于Bert的法律咨询用户意图理解模型的查准率和召回率比较高,为79.84%。