检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

面向文本摘要的反事实纠偏方法

计算机学报 2023年第11期46卷 2400-2415页

作者：陈璐张儒清郭嘉丰范意兴中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190 中国科学院大学北京100190

文本摘要是自然语言处理领域中一项典型的文本到文本生成任务,旨在提取和概括一篇或多篇输入文档的关键信息,生成简洁、流畅又准确的摘要文本.自动文本摘要技术涉及自然语言理解和自然语言生成技术,并能应用于多种实际场景,包括文档索... 详细信息

文本摘要是自然语言处理领域中一项典型的文本到文本生成任务,旨在提取和概括一篇或多篇输入文档的关键信息,生成简洁、流畅又准确的摘要文本.自动文本摘要技术涉及自然语言理解和自然语言生成技术,并能应用于多种实际场景,包括文档索引、标题生成和内容创建,因此受到学术界和工业界的长期关注.近年来,基于神经网络的深度文本摘要模型得到广泛研究.结合先进的预训练技术,现有的深度文本摘要模型已经具备流畅的语言表达能力,能够生成较为通顺的摘要.然而,模型生成的摘要仍然存在表达不准确的问题,与原文存在信息偏差或包含原文以外的信息.该问题被称为“幻觉”问题,仍是一个巨大的挑战.针对这个问题,该文从因果的角度分析了基于预训练模型的深度文本摘要方法存在的偏差来源,并设计了去偏方法.因果理论为理解和建模复杂系统提供了一个强大的框架.在文本摘要系统中,因果推理可以帮助识别文档、摘要和语言先验之间的因果关系.理解这些变量之间的因果关系,有助于设计出针对系统中潜在偏差来源的去偏方法.具体来说,该文首先探究了文本摘要任务的因果结构,定义和分析了摘要任务的因果图.分析表明,摘要会受到预训练过程中习得的语言先验的影响.其中,语言先验包含的噪声会导致生成的摘要有偏.由于先前的摘要模型没有考虑或规避语言先验中潜在噪声的影响,导致模型生成的摘要中容易出现原文没有的信息.为此,该文根据因果理论提出了面向文本摘要的反事实纠偏方法.受到人类行为的启发,该文根据是否和原文交互,显式地区分语言先验中的有用知识和噪声,然后建模噪声对摘要的影响并从总体影响中去除.在XSUM和CNN/DailyMail数据集上的实验表明,该模型在Rouge-1、Rouge-2和Rouge-L指标上分别比基线方法BART提高0.75%、0.54%和0.46%以及1.29%、2.08%和1.20%,并且在人工评价中具备良好的流畅性和忠实性.本文提出的方法是一个通用的框架,适用于不同的深度文本摘要模型.通过利用因果理论,它对文本摘要领域以及其他文本生成任务有一定的启发,增加了该领域方法的可解释性.

关键词：深度文本摘要模型因果效应反事实推理幻觉去偏

在线全文

学校读者我要写书评

暂无评论

大数据分析处理技术新体系的思考

中国科学院院刊 2022年第1期37卷 60-67页

作者：程学旗刘盛华张儒清中国科学院大学计算机科学与技术学院中国科学院计算技术研究所

近年来,大数据技术与系统在性能和效率方面已经取得了显著的提升,大数据应用到各个行业,赋能产业智能化发展,成为信息社会进入智能化阶段的关键要素。然而,大数据技术发展也面临着更深层次的挑战,如数据泛滥与高价值数据缺失并存、大数... 详细信息

近年来,大数据技术与系统在性能和效率方面已经取得了显著的提升,大数据应用到各个行业,赋能产业智能化发展,成为信息社会进入智能化阶段的关键要素。然而,大数据技术发展也面临着更深层次的挑战,如数据泛滥与高价值数据缺失并存、大数据分析研判复杂不确定、数据流通共享与数据可信安全使用难以兼顾等。这些挑战将推动大数据分析处理技术的创新变革,促进新技术体系的建立与发展。文章面向大数据分析处理面临的新架构、新模式、新范式和安全可信需求,提出构建新一代大数据分析处理系统栈,探索大数据价值利用新范式,并展望新技术体系下的牵引性需求与重大应用。

关键词：大数据技术架构系统栈新模式新范式安全可信

来源：博看期刊

在线全文

学校读者我要写书评

暂无评论

稠密向量实体检索模型的二值化提速压缩

模式识别与人工智能 2023年第1期36卷 60-69页

作者：王苑铮范意兴陈薇张儒清郭嘉丰中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190 中国科学院大学计算机科学与技术学院北京101408

在实体检索任务中,为了从大规模实体库中高效筛选与查询相关的候选实体,可使用稠密向量检索模型.然而在现有的稠密向量检索模型中,由于实体向量维度较高,导致实时计算效率较低、存储空间较大.文中通过实验发现这些实体向量存在大量的冗... 详细信息

在实体检索任务中,为了从大规模实体库中高效筛选与查询相关的候选实体,可使用稠密向量检索模型.然而在现有的稠密向量检索模型中,由于实体向量维度较高,导致实时计算效率较低、存储空间较大.文中通过实验发现这些实体向量存在大量的冗余信息:一方面,绝大多数实体向量分布在互不相同的象限里;另一方面,语义相近的实体所在的象限也更近.因此,文中提出二值化的实体检索方法,用于压缩实体向量,加速相似度计算.具体而言,方法利用符号函数(sign),二值化压缩高维稠密的浮点向量,并通过汉明距离加快检索.从理论上分析文中方法保证检索性能的原因.通过定性、定量的分析实验验证理论的正确性,并给出基于随机升维旋转的二值检索性能改善方法.

关键词：实体检索嵌入式表示稠密向量检索近似近邻检索乘积量化

在线全文

学校读者我要写书评

暂无评论

面向多阶段匹配的答案选择模型

计算机工程与应用 2023年第3期59卷 158-165页

作者：陈建贵张儒清郭嘉丰范意兴中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190 中国科学院大学北京100190

近年来,信息量成倍增长,获取有效信息的代价越来越高,答案选择技术能够为用户直接提供所需的信息,具有革命性的意义。给定问题和候选答案,答案选择任务要求从候选答案中找出与问题最相关的答案。不失一般性,候选答案根据与问题的匹配程... 详细信息

近年来,信息量成倍增长,获取有效信息的代价越来越高,答案选择技术能够为用户直接提供所需的信息,具有革命性的意义。给定问题和候选答案,答案选择任务要求从候选答案中找出与问题最相关的答案。不失一般性,候选答案根据与问题的匹配程度可以分为三种类型:不相关、相关不合理、相关且合理。然而,已有工作仅考虑问题与答案的相关性,这对于精准问答是远远不够的。为此,提出多阶段匹配模型(MSMM),模拟人的答题过程。具体的,MSMM模型分为两个阶段,第一阶段先将简单易解决的问答对分离出去,第二阶段再综合推理复杂的问答数据。每一阶段都由嵌入层、编码层、对齐层、融合层和池化层组成。此外,为了增强模型的推理能力,还引入语义角色标注信息和单词相似矩阵信息。为了便于评估,基于WikiQA和InsuranceQA数据集构造了两个答案合理性数据集。实验结果表明,对比基准方法,该模型在性能上取得一致的提升。

关键词：答案选择问答系统知识增强

在线全文

学校读者我要写书评

暂无评论

基于多表达的第一阶段语义检索模型

计算机工程与应用 2023年第4期59卷 139-146页

作者：蔡银琼范意兴郭嘉丰张儒清中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190 中国科学院大学北京100190

当前,信息检索系统通常采用“检索+重排序”的多级流水线架构。基于稠密表示的检索模型已经被逐渐应用到第一阶段检索中,并展现出了相比传统的稀疏向量空间模型更好的性能。考虑到第一阶段检索所需的高效性,大多数情况下这些模型的基本... 详细信息

当前,信息检索系统通常采用“检索+重排序”的多级流水线架构。基于稠密表示的检索模型已经被逐渐应用到第一阶段检索中,并展现出了相比传统的稀疏向量空间模型更好的性能。考虑到第一阶段检索所需的高效性,大多数情况下这些模型的基本架构都采用双编码器(bi-encoder)结构。对查询和文档进行独立的编码,分别得到一个稠密表示向量,然后基于获得的查询和文档表示使用简单的相似度函数计算查询-文档对的得分。然而,在编码文档的过程中查询是不可知的,而且文档相比查询而言通常包含更多的主题信息,因此这种简单的单表示模型可能会造成严重的文档信息丢失。为了解决这个问题,设计了一种新的语义检索方法MDR(multi-representation dense retrieval),将文档编码成多个稠密向量表示。同时,该方法引入覆盖率(coverage)机制来保证多个向量之间的差异性,从而能够覆盖文档中不同主题的信息。为了评估模型性能,在MS MARCO数据集上进行了段落排序和文档排序任务,实验结果证明了MDR方法的有效性。

关键词：语义检索双编码器模型信息检索

在线全文

学校读者我要写书评

暂无评论

关于短文本匹配的泛化性和迁移性的研究分析

计算机研究与发展 2022年第1期59卷 118-126页

作者：马新宇范意兴郭嘉丰张儒清苏立新程学旗中国科学院网络数据科学与技术重点实验室(中国科学院计算技术研究所) 北京100190 中国科学院大学北京100049

自然语言理解中的许多任务,比如自然语言推断任务、机器问答和复述问题,都可以看作是短文本匹配问题.近年来,大量的数据集和深度学习模型的涌现使得短文本匹配任务取得了长足的进步,然而,很少有工作去分析模型在不同数据集之间的泛化能... 详细信息

自然语言理解中的许多任务,比如自然语言推断任务、机器问答和复述问题,都可以看作是短文本匹配问题.近年来,大量的数据集和深度学习模型的涌现使得短文本匹配任务取得了长足的进步,然而,很少有工作去分析模型在不同数据集之间的泛化能力,以及如何在新领域中有效地利用现有不同领域中的大量带标注的数据,达到减少新领域的数据标注量和提升性能的目标.为此,重点分析了不同数据集之间的泛化性和迁移性,并且通过可视化的方式展示了影响数据集之间泛化性的因素.具体地,使用深度学习模型ESIM(enhanced sequential inference model)和预训练语言模型BERT(bidirectional encoder representations from transformers)在10个通用的短文本匹配数据集上进行了详尽的实验.通过实验,发现即使是在大规模语料预训练过的BERT,合适的迁移仍能带来性能提升.基于以上的分析,也发现通过在混合数据集预训练过的模型,在新的领域和少量样本情况下,具有较好的泛化能力和迁移能力.

关键词：短文本匹配泛化性迁移性少样本预训练语言模型

在线全文

学校读者我要写书评

暂无评论

基于反事实推理的事实验证去偏方法

中文信息学报 2023年第10期37卷 97-105页

作者：陈建贵张儒清郭嘉丰范意兴中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190 中国科学院大学北京100190

事实验证是一项具有挑战性的任务,旨在使用来自可信赖语料库的多个证据句子来验证声明。为了促进研究,一些事实验证数据集被提出,极大地加速了事实验证技术的发展。然而,现有的事实验证数据集通常采用众包的方法构造,无可避免地引入偏... 详细信息

事实验证是一项具有挑战性的任务,旨在使用来自可信赖语料库的多个证据句子来验证声明。为了促进研究,一些事实验证数据集被提出,极大地加速了事实验证技术的发展。然而,现有的事实验证数据集通常采用众包的方法构造,无可避免地引入偏差。已有事实验证去偏工作大致可以分为基于数据增强的方法和基于权重正则化的方法,前者不灵活,后者依赖于训练阶段的不确定输出。与已有工作不同,该文从因果关系出发,提出基于反事实推理的事实验证去偏方法。该文首先设计事实验证中的因果图,建模声明、证据以及它们之间的交互和预测结果的因果关系。接着,根据因果图提出事实验证去偏方法,通过总间接效应去除声明带来的偏差影响。我们使用多任务学习的方式来训练模型。训练时,该文采用多任务学习的方式建模各个因素的影响,同时在有偏和无偏测试集上评估模型的性能。实验结果表明,对比基准方法,该文模型在性能上获得了一致的提升。

关键词：事实验证反事实推理去偏模型

在线全文

学校读者我要写书评

暂无评论

试论庆阳地区农业信息化及其实施

甘肃农村科技 2001年第5期 7-8,10页

作者：张儒清于世明甘肃省庆阳农校745000

一、农业信息化是现代农业发展的必然21世纪是社会高度信息化,经济高度知识化的时代,实施农业信息化是庆阳地区农业迎接知识经济挑战和推动新的农业科技革命刻不容缓的重大举措.

关键词：甘肃庆阳地区农业信息化项目实施

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

任意网页的主题信息抽取研究

中文信息学报 2017年第5期31卷 127-137页

作者：张儒清郭岩刘悦俞晓明程学旗中国科学院计算技术研究所中国科学院网络数据科学与技术重点实验室北京100190 中国科学院大学北京100190

目前大部分的网页信息抽取方法都局限于某一类网页的提取,并没有进一步深入到适用于任意网页的抽取。针对这一问题,该文提出了一种基于融合机制的任意网页主题信息抽取框架,特点是通过"模板库匹配—基于模板抽取—网页分类—全自动抽取... 详细信息

目前大部分的网页信息抽取方法都局限于某一类网页的提取,并没有进一步深入到适用于任意网页的抽取。针对这一问题,该文提出了一种基于融合机制的任意网页主题信息抽取框架,特点是通过"模板库匹配—基于模板抽取—网页分类—全自动抽取"四个步骤实现对模板无关的全自动抽取算法和基于模板的抽取算法的融合。实验显示,这种融合机制能促进抽取准确率的有效提高,从而最终建立起一个适用于任意网页的、具有实用价值的信息抽取框架。

关键词：任意网页主题信息网页分类实用价值