检索结果-南通市图书馆

《自然语言处理基础与大模型---案例与实践》

在线全文

学校读者我要写书评

暂无评论

中文信息学报 2024年第3期38卷 F0003-F0003页

作者：宗成庆赵阳飞桨教材编写组不详

近年来,自然语言处理技术迅猛发展,尤其自2022年底ChatGPT发布以来,人类语言技术成为举世瞩目的焦点。如何让初学者快速了解基于神经网络的自然语言处理方法的技术要点,能够在短时间内熟悉相关模型和算法的程序代码,通过对应用系统的上... 详细信息

近年来,自然语言处理技术迅猛发展,尤其自2022年底ChatGPT发布以来,人类语言技术成为举世瞩目的焦点。如何让初学者快速了解基于神经网络的自然语言处理方法的技术要点,能够在短时间内熟悉相关模型和算法的程序代码,通过对应用系统的上机实践实现从理论到实操的跨越。

关键词：自然语言处理上机实践神经网络程序代码 Chat 人类语言技术技术要点

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

基于篇章结构多任务学习的神经机器翻译

软件学报 2022年第10期33卷 3806-3818页

作者：亢晓勉宗成庆模式识别国家重点实验室(中国科学院自动化研究所) 北京100190 中国科学院大学人工智能学院北京100049

篇章翻译方法借助跨句的上下文信息以提升篇章的翻译质量.篇章具有结构化的语义信息,可以形式化地表示为基本篇章单元之间的依存关系.但是目前的神经机器翻译方法很少利用篇章的结构信息.为此,提出了一种篇章翻译模型,能够在神经机器翻... 详细信息

篇章翻译方法借助跨句的上下文信息以提升篇章的翻译质量.篇章具有结构化的语义信息,可以形式化地表示为基本篇章单元之间的依存关系.但是目前的神经机器翻译方法很少利用篇章的结构信息.为此,提出了一种篇章翻译模型,能够在神经机器翻译的编码器-解码器框架中显式地建模基本篇章单元切分、篇章依存结构预测和篇章关系分类任务,从而得到结构信息增强的篇章单元表示.该表示分别通过门控加权和层次注意力的方式,与编码和解码的状态向量进行融合.此外,为了缓解模型在测试阶段对篇章分析器的依赖,在训练时采用多任务学习的策略,引导模型对翻译任务和篇章分析任务进行联合优化.在公开数据集上的实验结果表明,所提出的方法能够有效地建模和利用篇章单元间的依存结构信息,从而达到提升译文质量的目的.

关键词：神经机器翻译篇章结构多任务学习篇章分析

在线全文

学校读者我要写书评

暂无评论

跨模态信息融合的端到端语音翻译

软件学报 2023年第4期34卷 1837-1849页

作者：刘宇宸宗成庆模式识别国家重点实验室(中国科学院自动化研究所) 北京100190 中国科学院大学人工智能学院北京100049

语音翻译旨在将一种语言的语音翻译成另一种语言的语音或文本.相比于级联式翻译系统,端到端的语音翻译方法具有时间延迟低、错误累积少和存储空间小等优势,因此越来越多地受到研究者们的关注.但是,端到端的语音翻译方法不仅需要处理较... 详细信息

语音翻译旨在将一种语言的语音翻译成另一种语言的语音或文本.相比于级联式翻译系统,端到端的语音翻译方法具有时间延迟低、错误累积少和存储空间小等优势,因此越来越多地受到研究者们的关注.但是,端到端的语音翻译方法不仅需要处理较长的语音序列,提取其中的声学信息,而且需要学习源语言语音和目标语言文本之间的对齐关系,从而导致建模困难,且性能欠佳.提出一种跨模态信息融合的端到端的语音翻译方法,该方法将文本机器翻译与语音翻译模型深度结合,针对语音序列长度与文本序列长度不一致的问题,通过过滤声学表示中的冗余信息,使过滤后的声学状态序列长度与对应的文本序列尽可能一致;针对对齐关系难学习的问题,采用基于参数共享的方法将文本机器翻译模型嵌入到语音翻译模型中,并通过多任务训练方法学习源语言语音与目标语言文本之间的对齐关系.在公开的语音翻译数据集上进行的实验表明,所提方法可以显著提升语音翻译的性能.

关键词：语音翻译神经机器翻译端到端模型多模态学习

在线全文

学校读者我要写书评

暂无评论

基于跨模态实体信息融合的神经机器翻译方法

自动化学报 2023年第6期49卷 1170-1180页

作者：黄鑫张家俊宗成庆中国科学院自动化研究所模式识别国家重点实验室北京100190 中国科学院大学人工智能学院北京100049

现有多模态机器翻译(Multi-modal machine translation,MMT)方法将图片与待翻译文本进行句子级别的语义融合.这些方法存在视觉信息作用不明确和模型对视觉信息不敏感等问题,并进一步造成了视觉信息与文本信息无法在翻译模型中充分融合... 详细信息

现有多模态机器翻译(Multi-modal machine translation,MMT)方法将图片与待翻译文本进行句子级别的语义融合.这些方法存在视觉信息作用不明确和模型对视觉信息不敏感等问题,并进一步造成了视觉信息与文本信息无法在翻译模型中充分融合语义的问题.针对这些问题,提出了一种跨模态实体重构(Cross-modal entity reconstruction,CER)方法.区别于将完整的图片输入到翻译模型中,该方法显式对齐文本与图像中的实体,通过文本上下文与一种模态的实体的组合来重构另一种模态的实体,最终达到实体级的跨模态语义融合的目的,通过多任务学习方法将CER模型与翻译模型结合,达到提升翻译质量的目的.该方法在多模态翻译数据集的两个语言对上取得了最佳的翻译准确率.进一步的分析实验表明,该方法能够有效提升模型在翻译过程中对源端文本实体的忠实度.

关键词：实体重构跨模态学习多任务学习多模态机器翻译

属性建模与课程学习相结合的属性级情感分类方法

在线全文

学校读者我要写书评

暂无评论

软件学报 2023年

作者：叶静向露宗成庆中国科学院大学人工智能学院模式识别国家重点实验室(中国科学院自动化研究所)

属性级情感分类任务旨在判断句子针对给定属性的情感极性,因其广泛应用而备受关注.该任务的关键在于识别给定属性相关的上下文描述,并根据上下文内容判断发文者针对相应属性的情感倾向.统计发现,大约30%的评论中并不包含关于给定属性的... 详细信息

属性级情感分类任务旨在判断句子针对给定属性的情感极性,因其广泛应用而备受关注.该任务的关键在于识别给定属性相关的上下文描述,并根据上下文内容判断发文者针对相应属性的情感倾向.统计发现,大约30%的评论中并不包含关于给定属性的明确情感描述,但仍然传达了清晰的情感倾向,这被称为隐式情感表达.近年来,基于注意力机制的神经网络方法在情感分析中得到了成功应用.但该类方法只能捕捉属性相关的显式情感描述,而缺乏对隐含情感的有效分析和挖掘,且往往将属性词与句子上下文分别建模,使得属性词的表示缺乏上下文语义.针对以上两个问题,提出一种交叉融合属性局部和句子全局上下文信息的属性级情感分类方法,并根据隐式和显式情感表达句子不同的分类难度采用课程学习提高模型的分类性能.实验表明,所提方法不仅对显式情感表达句子的属性情感倾向识别准确率高,而且能够有效学习隐式情感表达句子的情感类别.

关键词：属性级情感分析隐式情感分析注意力机制课程学习

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于监督对比学习的文本情绪类别表示

软件学报 2023年

作者：王祥宇宗成庆中国科学院大学人工智能学院模式识别国家重点实验室(中国科学院自动化研究所)

揭示情绪之间的关系是认知心理学的一项重要基础研究.从自然语言处理的角度来说,探讨情绪之间的关系的关键在于得到合适的情绪类别的嵌入式表示.最近,在情感空间中获得一个可以表征情绪关系的类别表示已经引起了一些关注.然而,现有的情... 详细信息

揭示情绪之间的关系是认知心理学的一项重要基础研究.从自然语言处理的角度来说,探讨情绪之间的关系的关键在于得到合适的情绪类别的嵌入式表示.最近,在情感空间中获得一个可以表征情绪关系的类别表示已经引起了一些关注.然而,现有的情绪类别嵌入方法存在以下几个缺点.比如固定维度,情绪类别表示的维度依赖于所选定的数据集.为了取得一个更好的情绪类别表示,引入监督对比学习的表示方法.在之前的监督对比学习方法中,样本之间的相似性取决于样本所标注的标签的相似性.为了更好地反映出不同情绪类别之间的复杂关系,进一步提出部分相似的监督对比学习表示方法,认为不同情绪类别(比如情绪anger和annoyance)的样本之间也可能是部分相似的.最后,组织一系列实验来验证所提方法以及其他5个基准方法在表述情绪类别之间关系的能力.实验结果表明,所提方法取得了理想的情绪类别表示结果.

关键词：情感分析情绪表示情绪空间情绪类别

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

ChatGPT能力分析与未来展望

中国科学基金 2023年第5期37卷 735-742页

作者：武俊宏赵阳宗成庆中国科学院大学人工智能学院北京100049 中国科学院自动化研究所北京100190

近年来,大语言模型的自然语言处理能力不断提升,尤其近期,聊天生成式预训练模型(ChatGPT)所掌握的“渊博知识”和表现出来的强大对话能力成为举世瞩目的热点话题。ChatGPT语言理解能力的真实水平如何?与专用模型相比,其性能表现谁居上风... 详细信息

近年来,大语言模型的自然语言处理能力不断提升,尤其近期,聊天生成式预训练模型(ChatGPT)所掌握的“渊博知识”和表现出来的强大对话能力成为举世瞩目的热点话题。ChatGPT语言理解能力的真实水平如何?与专用模型相比,其性能表现谁居上风?它是否能够成为整个自然语言处理领域的通用模型而取代其它模型,甚至使所有自然语言处理问题得到彻底解决呢?为了回答上述问题,本文对ChatGPT在多个自然语言处理任务上的性能表现进行了评估和分析。在此基础上,我们讨论了ChatGPT对自然语言处理领域的影响,并对未来的发展进行了展望。

关键词：自然语言处理大语言模型预训练语言模型 ChatGPT

在线全文

学校读者我要写书评

暂无评论

基于语言计算方法的语言认知实验综述

中文信息学报 2022年第4期36卷 1-11页

作者：王少楠张家俊宗成庆中国科学院自动化研究所模式识别国家重点实验室北京100190 中国科学院大学人工智能学院北京100049 中国科学院脑科学与智能技术卓越创新中心北京100190

人脑对语言的理解过程十分复杂,涉及多个脑网络和加工机制。以往的工作大多采用严格控制的实验设计,针对特定的语言现象展开研究,导致了研究结论趋于碎片化,无法形成关于大脑语言理解的总体结论。另一方面,深度学习的出现引发了语言计... 详细信息

人脑对语言的理解过程十分复杂,涉及多个脑网络和加工机制。以往的工作大多采用严格控制的实验设计,针对特定的语言现象展开研究,导致了研究结论趋于碎片化,无法形成关于大脑语言理解的总体结论。另一方面,深度学习的出现引发了语言计算领域的技术变革,语言计算模型在多个任务上达到甚至超越了人类的水平。这为进行全局性、高生态效度的人脑语言理解实验带来可能性,促进了语言认知实验中引入语言计算模型方法的快速发展。那么,利用新兴的语言计算方法可以为大脑语言认知机理的研究带来哪些新的机遇和启发呢?该文归纳总结了利用语言计算方法进行语言认知实验的相关工作,并对未来发展趋势予以展望。

关键词：语言认知语言计算语言理解

在线全文

学校读者我要写书评

暂无评论

基于对比学习的中文命名实体识别方法

中文信息学报 2023年第12期37卷 98-105页

作者：江洲钰向露亢晓勉宗成庆中国科学院自动化研究所模式识别国家重点实验室北京100190 中国科学院大学人工智能学院北京100049

针对中文命名实体识别任务,基于字词图进行字词特征融合被证明是一类有效的性能提升方法。然而,在实际场景下,构建字词图所使用的外部词典与训练数据间在领域、表达方式等多方面存在不一致,导致引入的词与实体间存在不完全匹配问题。不... 详细信息

针对中文命名实体识别任务,基于字词图进行字词特征融合被证明是一类有效的性能提升方法。然而,在实际场景下,构建字词图所使用的外部词典与训练数据间在领域、表达方式等多方面存在不一致,导致引入的词与实体间存在不完全匹配问题。不完全匹配词指与实体间存在边界冲突或语义冲突的词,这些词会在模型识别实体边界与类型过程中引入噪声特征。针对此问题,该文提出了一种基于对比学习的中文命名实体识别方法,将冲突实例视为负例,并为边界冲突和语义冲突分别设计了对比学习模块。另外,该文提出了改进的折损InfoNCE函数,以提升语义对比模块区分相似标签的能力。实验表明,在四个中文命名实体识别公开数据集上,该文方法均达到了当前最优性能。

关键词：对比学习命名实体识别特征融合