多模态对话系统：基于关系图的上下文感知的问题理解
作者单位：山东大学
学位级别：硕士
导师姓名：聂礼强;刘萌
授予年度：2023年
学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）]
主 题：多模态对话系统 属性增强的文本表示 稀疏关系上下文建模 多模态解码器
摘 要：随着多媒体数据的日益增长以及深度学习技术的逐渐成熟,多模态对话系统受到了学术界和产业界的广泛关注。2022年末,对话式机器人系统ChatGPT的问世直接将该任务推至研究高潮。多模态对话系统的目标是以多种媒介形式(如图像、视频和文本等)与用户进行自然真实的对话。与纯文本对话系统相比,多模态对话系统允许用户通过图像等额外信息来补充意图表达。这不仅极大改善了用户体验,而且有助于系统更好地理解用户需求。本学位论文针对面向在线购物场景的多模态对话系统,其涉及文本和图像两种数据形式。面对多样且复杂的对话,如何全面理解用户的问题并生成准确的系统响应是该领域多模态对话系统的关键。虽然现有的方法已经取得了一些进展,但在问题理解(即用户意图理解)方面仍然面临以下挑战:(1)文本语句建模。现有工作通常为整个句子建立特征向量,没有细致地考虑文本句子中不同单词的重要性,忽略了具有丰富语义线索的商品关键词,而这些关键词对理解用户意图具有重要意义。因此,如何构建一个可自适应地关注文本句子中与意图相关信息的文本编码器是该任务面临的挑战之一。(2)关系上下文建模。现有方法通常使用层次循环神经网络对话语序列进行编码,忽略了不同话语之间的互补关系以及其对用户意图贡献的不一致性。鉴于此,如何考虑每个话语的关系上下文,并自适应地重新权衡它们的贡献,以实现精确的用户意图建模是该任务面临的另一挑战。针对上述挑战,本学位论文提出了一种基于关系图的上下文感知的问题理解框架,它从局部和全局层面逐步改善了用户意图建模。该框架包括节点初始化模块、关系上下文建模模块和响应生成器三部分。首先,为增强用户的局部意图理解,节点初始化模块引入了新颖的多重属性矩阵(如颜色、材质等)作为指导,通过与每一话语进行层次注意力计算,突出话语中蕴含的与商品相关的关键词信息。然后,为进一步增强用户在整体语境上的全局意图理解,关系上下文建模模块摒弃了常用的层次循环编码器,通过拓展原始图注意力网络构建了稀疏图注意力网络。该网络可利用所设计的稀疏邻接矩阵更新策略动态调整不同话语之间的连接关系,稀疏化话语之间的稠密连接,挖掘每一话语的有效关系上下文信息,以细致考虑上下文中不同话语之间的互补关系。最后,基于有效的用户意图表示,响应生成器可准确生成满足用户需求的文本和图像响应。本学位论文在基准数据集上的大量实验结果,证明了所提出框架在用户意图建模方面的有效性。
同方学位论文库