检索结果-南通市图书馆

融合角色、结构和语义的口语对话预训练语言模型

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2022年第8期39卷 2397-2402页

作者：黄健李锋上海浦东发展银行股份有限公司创新实验室上海200001

口语语言理解是任务式对话系统的重要组件,预训练语言模型在口语语言理解中取得了重要突破,然而这些预训练语言模型大多是基于大规模书面文本语料。考虑到口语与书面语在结构、使用条件和表达方式上的明显差异,构建了大规模、双角色、... 详细信息

口语语言理解是任务式对话系统的重要组件,预训练语言模型在口语语言理解中取得了重要突破,然而这些预训练语言模型大多是基于大规模书面文本语料。考虑到口语与书面语在结构、使用条件和表达方式上的明显差异,构建了大规模、双角色、多轮次、口语对话语料,并提出融合角色、结构和语义的四个自监督预训练任务:全词掩码、角色预测、话语内部反转预测和轮次间互换预测,通过多任务联合训练面向口语的预训练语言模型SPD-BERT(spoken dialog-BERT)。在金融领域智能客服场景的三个人工标注数据集--意图识别、实体识别和拼音纠错上进行详细的实验测试,实验结果验证了该语言模型的有效性。

关键词：对话系统口语语言理解预训练语言模型意图识别实体识别

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

航班预定口语对话系统的设计与实现

中国科学院大学学报（中英文） 2015年第2期32卷 252-258页

作者：陈振锋杨晓昊吴蔚澜刘加夏善红中国科学院电子学研究所传感技术国家重点实验室北京100190 中国科学院大学北京100190 清华大学电子工程系清华信息科学与技术国家实验室北京100084

介绍一个航班预定口语对话系统的设计与实现,该系统允许用户通过普通话进行航班信息查询与预定.重点介绍口语对话系统中的口语语言理解.为了克服语音识别引入的识别错误导致语义理解错误的问题,提出基于词混淆网络的两阶段中文口语语言... 详细信息

介绍一个航班预定口语对话系统的设计与实现,该系统允许用户通过普通话进行航班信息查询与预定.重点介绍口语对话系统中的口语语言理解.为了克服语音识别引入的识别错误导致语义理解错误的问题,提出基于词混淆网络的两阶段中文口语语言理解方法:首先从词混淆网络中选择N元文法作为分类特征,进行主题分类,并通过语义分类模型解析获取对应的语义树结构;然后利用基于规则的语义槽填充器抽取相应的语义槽属性-值.该方法是数据驱动的,训练数据的标记比较容易.实验在汉语航班预定领域进行,结果表明,在语音识别字错误率很高的情况下,该方法比传统的基于语法规则的语言理解方法更加鲁棒,在语义理解正确率方面有明显改善.

关键词：口语对话系统口语语言理解语义理解词混淆网络对话管理

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

结合边界预测和动态模板方法的槽填充模型

中文信息学报 2023年第4期37卷 72-80页

作者：朱展标黄沛杰张业兴刘树东张华林谢浩杰黄均曜林丕源华南农业大学数学与信息学院广东广州510642 广州市智慧农业重点实验室广东广州510642

意图识别和槽填充的联合模型将口语语言理解(Spoken Language Understanding,SLU)提升到了一个新的水平,但是现有模型通过话语上下文信息判断位置信息,缺少对槽信息标签之间位置信息的考虑,导致模型在槽位提取过程中容易发生边界错误,... 详细信息

意图识别和槽填充的联合模型将口语语言理解(Spoken Language Understanding,SLU)提升到了一个新的水平,但是现有模型通过话语上下文信息判断位置信息,缺少对槽信息标签之间位置信息的考虑,导致模型在槽位提取过程中容易发生边界错误,进而影响最终槽位提取表现。此外,在槽信息提取任务中,槽指称项(Slotmen-tions)可能与正常表述话语并没有区别,特别是电影名字、歌曲名字等,模型容易受到槽指称项话语的干扰,因而无法在槽位提取中正确识别槽位边界。该文提出了一种面向口语语言理解的结合边界预测和动态模板的槽填充(Boundary-prediction and Dynamic-template Slot Filling,BDSF)模型。该模型提供了一种联合预测边界信息的辅助任务,将位置信息引入到槽信息填充中,同时利用动态模板机制对话语句式建模,能够让模型聚焦于话语中的非槽指称项部分,避免了模型被槽指称项干扰,增强模型区分槽位边界的能力。在公共基准语料库SMP-ECDT和CAIS上的实验结果表明,该模型优于对比模型,特别是能够为槽标签预测模型提供准确的位置信息。

关键词：口语语言理解槽填充位置信息模板机制

任务型对话中多意图识别和槽填充的联合算法研究

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

任务型对话中多意图识别和槽填充的联合算法研究

作者：万学海南大学

学位级别：硕士

随着任务型人机对话系统越来越流行,多意图口语语言理解受到了前所未有的关注。口语语言理解主要包含两个子任务:意图识别和槽位填充。在现实对话系统中,用户的话语通常包含多个意图和相应的语义信息。当前最优的方法是利用图注意力网... 详细信息

随着任务型人机对话系统越来越流行,多意图口语语言理解受到了前所未有的关注。口语语言理解主要包含两个子任务:意图识别和槽位填充。在现实对话系统中,用户的话语通常包含多个意图和相应的语义信息。当前最优的方法是利用图注意力网络建模意图和槽位的显性关联,来促进槽位填充任务。然而,这种方式并没有考虑到节点之间边的信息和意图间的相关性。此外,现有方法利用BIO序列标注方式对槽填充进行解码,这样不仅不能解决嵌套槽问题,而且性能和推理速率不够高。为了解决以上问题,本文做了以下工作:(1)针对意图间的相关性和节点之间边的信息可以用于协助意图识别和槽位填充的问题,提出了一种基于迭代预测机制和图网络联合多意图-槽位提取的模型。该模型通过构建加权全局-局部无向图交互网络和提出一种加权边图注意力网络,能够使每个节点都能够聚合周边节点和边的信息,解决了节点信息聚合不足的问题。此外,针对意图间的相关性和增强模型的鲁棒性的问题,一种迭代预测机制被提出,其将解码的意图作为预解码意图的软标签来实现迭代预测。在多个公开的(中文和英文)数据集上进行了对比实验和烧蚀实验,实验结果表明两种任务的所有指标都得到了提升,验证了所提出模型具有泛化能力和有效性。(2)针对槽位嵌套、推理速率慢和模型性能低的问题,提出一种基于全局指针解决嵌套与非嵌套槽的统一方法。该方法利用BERT作为两个任务的参数共享编码器,能够深层次挖掘文本语义表征;将获得的语义表示送入到全局指针网络获取词间相关信息,并使用span式指针解码槽位,其能够解决槽位嵌套问题;最后,构建一种多维类型-槽位标签交互网络,并将槽类型信息与BERT输出句子级语义表示联合用于解码意图,能够进一步增强意图-槽位间的隐式关联。在两种公开的多意图数据集进行了对比实验和消融实验,实验结果表明提出的模型能够有效地解决槽位嵌套问题、提升推理速率和性能,并为未来的模型设计提供参考。

关键词：对话系统口语语言理解多意图识别槽位填充