检索结果-南通市图书馆

同方期刊数据库

马尔可夫决策过程和先验控制向量在弱约束自然语言生成中的应用

在线全文

学校读者我要写书评

暂无评论

计算机学报 2022年第2期45卷 289-301页

作者：刘奇马娆俞凯上海交通大学人工智能研究院人工智能教育部重点实验室上海200240 上海交通大学计算机科学与工程系跨媒体语言智能实验室上海200240 新华社媒体融合生产技术与系统国家重点实验室第一联合创新中心北京100803

自然语言生成是目前非常重要且具有挑战性的一类人工智能任务.长短时记忆(Long Short-Term Memory,LSTM)语言模型是目前最为主流的自然语言生成模型.但是,LSTM语言模型的训练准则是词语级别的交叉熵,这会导致暴露偏差问题.此外,一般自... 详细信息

自然语言生成是目前非常重要且具有挑战性的一类人工智能任务.长短时记忆(Long Short-Term Memory,LSTM)语言模型是目前最为主流的自然语言生成模型.但是,LSTM语言模型的训练准则是词语级别的交叉熵,这会导致暴露偏差问题.此外,一般自然语言生成任务的评测指标是序列级别的BLEU分数或者词错误率,这与训练使用的交叉熵准则也不匹配.在本文中,我们使用马尔可夫决策过程重定义了自然语言生成问题,并通过从训练数据中提取的先验控制向量来指导生成过程.先验控制向量可以视作是对序列空间的一种先验划分的抽象,通过在自然语言生成中引入先验控制向量,我们可以更好的约束自然语言生成的空间.再通过马尔可夫决策过程的定义,我们可以使用策略梯度算法来直接使用测试使用的BLEU分数来代替交叉熵训练LSTM网络.在多个数据集上的实验显示本文提出的方法相比于普通使用LSTM语言模型的基线系统在BLEU分数上有大约绝对2%~3%的提升.

关键词：自然语言生成马尔可夫决策过程先验控制向量策略梯度算法深度强化学习

在线全文

学校读者我要写书评

暂无评论

自然语言生成综述

计算机应用研究 2006年第8期23卷 1-3,13页

作者：张建华陈家骏南京大学计算机软件新技术国家重点实验室江苏南京210093

自然语言生成是人工智能和计算语言学的分支,是生成可理解文本的计算机系统。从系统的健壮性、复用性和独立性出发,详细介绍了由内容规划、微观规划和表层生成三个基本模块构成的经典管道模型,并着重分析了内容确定、结构构造、优化聚... 详细信息

自然语言生成是人工智能和计算语言学的分支,是生成可理解文本的计算机系统。从系统的健壮性、复用性和独立性出发,详细介绍了由内容规划、微观规划和表层生成三个基本模块构成的经典管道模型,并着重分析了内容确定、结构构造、优化聚合、选词、提交生成表达式、内容实现、结构实现以及有关生成关键技术和系统建模等核心内容,最后提出了当前NLG的发展趋势和研究热点。

关键词：自然语言生成内容规划微观规划表层生成

在线全文

学校读者我要写书评

暂无评论

自然语言生成技术及其在军事领域应用

中国电子科学研究院学报 2022年第10期17卷 935-942,958页

作者：李公全李智国李卫星高栋中国人民解放军66132部队北京100042 国防科技大学长沙410003

自然语言生成(Natural Language Generation, NLG)是在自然语言理解、图像识别和视频分析等技术基础上利用人工智能和语言学方法生成自然语言文本的过程,近年来成为人工智能研究领域的热点,在军事领域也得到了较好的应用。文中提出了NL... 详细信息

自然语言生成(Natural Language Generation, NLG)是在自然语言理解、图像识别和视频分析等技术基础上利用人工智能和语言学方法生成自然语言文本的过程,近年来成为人工智能研究领域的热点,在军事领域也得到了较好的应用。文中提出了NLG技术的应用框架体系,阐述了文本到文本、数据到文本、图片到文本和视频到文本4个大类的关键技术和实现方法;归纳总结了机器翻译、辅助撰写、智能问答、战场监视、侦察解译等11个典型场景,为NLG技术在军事领域的实战化应用提供方向;从军事领域数据集缺失、现有NLG系统的实用性和抗毁性不足等方面,深入剖析了制约NLG技术军事应用的瓶颈问题,并提出对策建议,为NLG技术在军事领域的未来发展提供参考。

关键词：人工智能自然语言生成军事领域典型应用

在线全文

学校读者我要写书评

暂无评论

自然语言生成综述

计算机应用 2021年第5期41卷 1227-1235页

作者：李雪晴王石王朱君朱俊武扬州大学信息工程学院江苏扬州225000 中国科学院计算技术研究所北京100190

自然语言生成(NLG)技术利用人工智能和语言学的方法来自动地生成可理解的自然语言文本。NLG降低了人类和计算机之间沟通的难度,被广泛应用于机器新闻写作、聊天机器人等领域,已经成为人工智能的研究热点之一。首先,列举了当前主流的NLG... 详细信息

自然语言生成(NLG)技术利用人工智能和语言学的方法来自动地生成可理解的自然语言文本。NLG降低了人类和计算机之间沟通的难度,被广泛应用于机器新闻写作、聊天机器人等领域,已经成为人工智能的研究热点之一。首先,列举了当前主流的NLG的方法和模型,并详细对比了这些方法和模型的优缺点;然后,分别针对文本到文本、数据到文本和图像到文本等三种NLG技术,总结并分析了应用领域、存在的问题和当前的研究进展;进而,阐述了上述生成技术的常用评价方法及其适用范围;最后,给出了当前NLG技术的发展趋势和研究难点。

关键词：自然语言生成语言学自然语言处理评价方法文本到文本生成数据到文本生成图像到文本生成

在线全文

学校读者我要写书评

暂无评论

自然语言生成研究的动态与方向

当代语言学 1998年第2期 11-14页

作者：杨国文中国社会科学院语言所

自然语言生成研究的动态与方向杨国文中国社会科学院语言所语言生成这一属于计算语言学领域始于７０年代的研究课题如今已走过了近３０年的历程。在这段并不太长的时间里，从事该领域研究的专家学者们不断提出新的理论和方法，设计新的... 详细信息

自然语言生成研究的动态与方向杨国文中国社会科学院语言所语言生成这一属于计算语言学领域始于７０年代的研究课题如今已走过了近３０年的历程。在这段并不太长的时间里，从事该领域研究的专家学者们不断提出新的理论和方法，设计新的生成模型，使语言生成的研究不断取得...

关键词：自然语言生成计算语言学信息策划计算心理语言学生成模型修辞结构理论生成系统系统功能语法语言学理论生成语法

在线全文

学校读者我要写书评

暂无评论

自然语言生成中的句子结构优化处理

计算机应用研究 1998年第1期15卷 52-56页

作者：李锦乾张冬茉姚天方上海交通大学计算机系

本文介绍多语种文本生成系统中的句子结构优化处理，采用基于语义的规则驱动方法来消除句子之间的信息冗余，从而使生成的文本更加自然流畅，可读性强。这种方法独立于具体语言，不受语种限制，具有极好的移植和扩展能力，在自然语言生... 详细信息

本文介绍多语种文本生成系统中的句子结构优化处理，采用基于语义的规则驱动方法来消除句子之间的信息冗余，从而使生成的文本更加自然流畅，可读性强。这种方法独立于具体语言，不受语种限制，具有极好的移植和扩展能力，在自然语言生成系统中具有广泛的研究价值。句子优化的主要类型、算法的构造以及规则的定义方法均在文中作了详细的说明。

关键词：自然语言生成信息处理句子结构优化处理

自然语言生成中基于对抗学习的属性控制方法研究

在线全文

学校读者我要写书评

暂无评论

自然语言生成中基于对抗学习的属性控制方法研究

作者：殷迪南京大学

学位级别：硕士

语言是人类进行信息表达和交流的重要工具。通过运用语言,人类既可以描述客观事实,又可以表达主观思想。随着深度学习技术的快速发展,自然语言生成（Natural Language Generation,简称NLG）这一自然语言处理与人工智能的核心研究方向,... 详细信息

语言是人类进行信息表达和交流的重要工具。通过运用语言,人类既可以描述客观事实,又可以表达主观思想。随着深度学习技术的快速发展,自然语言生成（Natural Language Generation,简称NLG）这一自然语言处理与人工智能的核心研究方向,在学术界受到了越来越多的关注,在工业界也出现了大量实际应用,如机器写作、聊天机器人等。灵活性与多样性是人类语言表达的重要特点。对于相同或相似的语义内容,人类可以灵活地使用多种不同的表达形式进行描述。出现这种现象的原因在于,在组织语言的过程中,人类既需要考虑描述什么语义内容,又会受到一些独立于语义内容的属性因素的影响,如语言风格、情感态度等。为了在实际场景中取得更好的应用效果,模型或系统在产生结果时,既要保证预期的语义内容被准确描述,又要对表达形式加以控制,使之符合具体场景的要求。于是,越来越多的研究者开始关注自然语言生成中的属性控制问题。在自然语言生成中引入属性控制,一方面要求模型能在指定属性上对生成结果的表达形式有着较好的控制效果,另一方面还要保证生成文本描述中属性无关的语义内容符合预期。大多数现有方法已经可以做到对属性的精准控制,但相关模型经常会生成一些语义内容严重不符合预期的结果。针对这一问题,本文分析了对自然语言生成的基本方法与属性控制研究的前沿进展,指出它们存在的共同问题是:在训练过程中,缺少对输入与输出序列之间语义关联的直接监督。基于对抗学习的框架,本文提出通过引入语义内容相关的判别模型来对带有属性控制的语言生成模型提供指导,并针对文本改写和对话生成两个语言生成任务分别给出了解决方案,主要工作如下:1.针对文本属性改写任务,本文提出了一种基于原文部分对照机制的对抗文本属性改写模型学习框架。为了更好地利用非平行语料中的信息,本文提出了一种语料挖掘方案,用于从非平行语料中挖掘出一些关于属性转换和内容保留的成对数据;然后,本文引入两个原文部分对照模型,分别在两个方面从成对数据中学习如何对照改写结果与原文以判断二者之间的关系,并在改写模型训练阶段提供指导实验结果表明,本文提出的方案能够有效提升文本属性改写模型的语义内容保留效果。2.在对话系统回复生成任务中,现有模型倾向于生成一些与输入语义关联度较低的“通用回复”,在属性可控的对话生成场景下,这一问题变得更加严重。与文本属性改写任务不同,大多数可控对话生成场景都存在较大规模的平行语料。对此,本文提出了一种新的可控生成模型学习框架,通过对抗学习与多任务学习的方式,对基于平行语料训练的属性可控对话生成模型与基于非平行语料训练的文本属性改写模型进行优势互补,从而加强对话生成模型学习语义关联的能力。实验结果表明,本文提出的方法能在取得精确属性控制的同时,显著提高生成回复的语义相关性与生成多样性。

关键词：自然语言生成属性控制对抗学习文本属性改写对话回复生成

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于技能网络的通用自然语言生成模型

中文信息学报 2024年第3期38卷 141-151页

作者：廖俊伟程帅电子科技大学计算机科学与工程学院四川成都611731

使用多任务训练的自然语言生成模型仅使用一个模型即可完成各种不同的自然语言生成任务。但这种所有任务共享所有参数的模型,无法清楚地知道模型的每一部分参数学到了什么技能。为了根据不同的任务选择激活不同的模型参数,该文提出了一... 详细信息

使用多任务训练的自然语言生成模型仅使用一个模型即可完成各种不同的自然语言生成任务。但这种所有任务共享所有参数的模型,无法清楚地知道模型的每一部分参数学到了什么技能。为了根据不同的任务选择激活不同的模型参数,该文提出了一种基于稀疏激活的通用自然语言生成模型(SkillNet-NLG)。与传统的稠密模型在执行任务时激活所有的模型参数不同,SkillNet-NLG在执行任务时,首先依据任务预先定义一组完成任务所需要的技能,然后根据定义的技能选择性地激活与技能相关的模型参数。这种模型设计使其能够通过正确地选择与任务相关的技能来高效地学习新的任务。在中文自然语言生成任务上的实验结果表明,首先,在仅使用一个模型的情况下,SkillNet-NLG在常见的五个自然语言生成任务中的四个上面超过了当前最好方法;其次,SkillNet-NLG的表现优于另外两类多任务基线模型(稠密模型和混合专家模型),并取得了与针对特定任务单独训练的模型相当的性能;最后,当应用到新任务上时,SkillNet-NLG相较于所有基线方法取得了更好的结果,验证了该文所提出的方法对于学习新任务的有效性。

关键词：自然语言生成多任务模型稀疏激活模型技能网络

计算教育学国内发展现状分析与未来展望——基于语言模型和自然语言生成技术

在线全文

学校读者我要写书评

暂无评论

远程教育杂志 2021年第3期39卷 42-51页

作者：贾维辰彭俊任英杰澳门城市大学教育学院澳门特别行政区999078 暨南大学人文学院广东珠海519000

近年来,大数据、人工智能等新兴技术的飞速发展,推动着计算教育学逐步走向成熟,并受到研究者的广泛关注。为此,从计算教育学发展脉络展开分析,梳理出计算教育学领域的主要支撑技术与应用场景。基于梳理结果,对CNKI数据库2001年到2019年... 详细信息

近年来,大数据、人工智能等新兴技术的飞速发展,推动着计算教育学逐步走向成熟,并受到研究者的广泛关注。为此,从计算教育学发展脉络展开分析,梳理出计算教育学领域的主要支撑技术与应用场景。基于梳理结果,对CNKI数据库2001年到2019年研究文献进行分析,构建了计算教育学领域学术文本(摘要)语料库。应用“学术文本(摘要)主题分析框架”对语料库进行数据挖掘,研究发现了计算教育学领域语言模型与四个重要聚类,即“个性化学习”“智慧课堂”“智慧校园”“创客教育”。研究认为,加快形成计算教育学特有的研究范式,合力构建计算教育学技术生态系统,加强计算教育学学科人才培养尤其是研究人员的培养,将是未来计算教育学研究与发展的主要问题和重要抓手。

关键词：学术文本分析计算教育学文献计量自然语言生成语言模型