检索结果-南通市图书馆

YuLan-Chat：基于多阶段课程学习的大语言模型

在线全文

学校读者我要写书评

暂无评论

计算机学报 2024年

作者：周昆朱余韬陈志朋毛科龙陈文通陈昱硕孙一丁曹乾王磊张蕾庞新程谢曙方赵鑫窦志成林衍凯毛佳昕宋睿华陈旭徐君胡迪严睿黄文炳魏哲巍文继荣中国人民大学信息学院中国人民大学高瓴人工智能学院

近年来，大语言模型已成为研究热点。其在大规模数据上预训练之后，具有强大的少样本和零样本上下文学习能力，能够便捷地用于许多真实场景复杂任务。然而，对大语言模型进行从头到尾的开发和训练，可参考的实现较少；且存在较难习得的... 详细信息

近年来，大语言模型已成为研究热点。其在大规模数据上预训练之后，具有强大的少样本和零样本上下文学习能力，能够便捷地用于许多真实场景复杂任务。然而，对大语言模型进行从头到尾的开发和训练，可参考的实现较少；且存在较难习得的知识，如长尾知识相关数据、复杂指令、难区分的负例等。为填补该领域空白，并强化对较难掌握数据的学习，本文提出了多阶段的课程学习方法，针对以上三种典型数据，使用了（1）迭代增强长尾知识的预训练课程；（2）由简单到复杂的指令微调课程；和（3）由易到难的人类对齐课程，完成了YuLan-Chat从头开始的整个训练流程。本文在四个与大语言模型基础能力和人类对齐能力相关的中英文评测基准上对YuLan-Chat进行评测，结果表明该模型能够在大部分场景下优于基线模型。分析实验进一步表明了该三阶段课程在预训练、指令微调和人类对齐阶段分别能够提升模型9.7%(GAOKAO),22.2%和18.9%(AlignBench)。

关键词：大语言模型课程学习预训练指令微调人类对齐

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

短文本理解研究

计算机研究与发展 2016年第2期53卷 262-269页

作者：王仲远程健鹏王海勋文继荣中国人民大学信息学院北京100872 微软亚洲研究院北京100080 牛津大学计算机科学学院 Facebook 美国加利福尼亚州门洛帕克市94025

短文本理解是一项对于机器智能至关重要但又充满挑战的任务.这项任务有益于众多应用场景,如搜索引擎、自动问答、广告和推荐系统.完成这些应用的首要步骤是将输入文本转化为机器可以诠释的形式,即帮助机器"理解"短文本的含义.基于这一目... 详细信息

短文本理解是一项对于机器智能至关重要但又充满挑战的任务.这项任务有益于众多应用场景,如搜索引擎、自动问答、广告和推荐系统.完成这些应用的首要步骤是将输入文本转化为机器可以诠释的形式,即帮助机器"理解"短文本的含义.基于这一目标,许多方法利用外来知识源来解决短文本中语境信息不足的问题.通过总结短文本理解领域的相关工作,介绍了基于向量的短文本理解框架.同时,探讨了短文本理解领域未来的研究方向.

关键词：知识挖掘短文本理解概念化语义计算

在线全文

学校读者我要写书评

暂无评论

基于多任务学习的位置倾向性得分预测算法

计算机研究与发展 2023年第1期60卷 85-94页

作者：曹泽麟徐君董振华文继荣中国人民大学高瓴人工智能学院北京100872 大数据管理与分析方法研究北京市重点实验室(中国人民大学) 北京100071 华为技术有限公司诺亚方舟实验室广东深圳518129

用户搜索时产生的点击数据分布,在不同的搜索场景下存在较大差异.现有算法如融合上下文的位置模型(contextual position based model,CPBM)往往只通过单个模型预测多种场景下的位置倾向性得分,不可避免地降低了模型在不同场景下的预测... 详细信息

用户搜索时产生的点击数据分布,在不同的搜索场景下存在较大差异.现有算法如融合上下文的位置模型(contextual position based model,CPBM)往往只通过单个模型预测多种场景下的位置倾向性得分,不可避免地降低了模型在不同场景下的预测准确性,影响去除位置偏置的效果.基于上述问题提出一种基于多任务学习的多门专家混合位置倾向性得分预测模型(multi-gate contextual position based model,MCPBM),在CPBM模型的基础上加入信息筛选结构,解决了多场景数据联合训练时预测准确性不佳的问题.同时,为了缓解不同任务收敛速度不一致的问题,提出了指数加权平均权重动态调整算法,在加速模型训练的同时提升了模型整体预测性能.实验结果表明提出的MCPBM模型在多场景数据联合训练时,预测准确性优于传统的CPBM;在使用MCPBM模型去除位置偏置后,基于生成的无偏数据训练得到的排序模型,在AvgRank排序指标上有1%~5%的提升.

关键词：位置偏置无偏排序逆概率加权多任务学习倾向性得分预测

在线全文

学校读者我要写书评

暂无评论

基于用户日志的查询扩展统计模型

软件学报 2003年第9期14卷 1593-1599页

作者：崔航文继荣李敏强天津大学系统工程研究所天津300072 微软亚洲研究院北京100080

信息检索长期存在着用词歧义性问题,在Web搜索上的表现更加突出.提出了一种基于用户查询日志的查询扩展统计模型,将用户查询中使用的词或短语与文档中出现的相应词或短语以条件概率的形式连接,利用贝叶斯公式挑选出文档中与该查询关联... 详细信息

信息检索长期存在着用词歧义性问题,在Web搜索上的表现更加突出.提出了一种基于用户查询日志的查询扩展统计模型,将用户查询中使用的词或短语与文档中出现的相应词或短语以条件概率的形式连接,利用贝叶斯公式挑选出文档中与该查询关联最紧密的词加入原查询,以达到扩展优化的目的.实验结果表明,该方法更适宜改进Web上的信息检索,相对传统的查询扩展算法可以大幅度提高查询精度.

关键词：信息检索查询扩展用户日志日志挖掘

在线全文

学校读者我要写书评

暂无评论

搜索结果多样化研究综述

计算机学报 2019年第12期42卷 2591-2613页

作者：窦志成秦绪博文继荣中国人民大学信息学院大数据管理与分析方法研究北京市重点实验室

基于传统信息检索技术的搜索引擎一般按照用户提交的查询获得一系列搜索结果,经过相关性排序之后返回给用户.相关研究表明,用户提交给搜索引擎的查询通常是短查询,且经常具有歧义性和宽泛性.另外,不同的用户在使用同一个查询词时,其查... 详细信息

基于传统信息检索技术的搜索引擎一般按照用户提交的查询获得一系列搜索结果,经过相关性排序之后返回给用户.相关研究表明,用户提交给搜索引擎的查询通常是短查询,且经常具有歧义性和宽泛性.另外,不同的用户在使用同一个查询词时,其查询需求也往往是不同的.此时若搜索引擎只进行相关性排序,则会面临搜索结果冗余性过大、无法有效覆盖用户意图的问题,对用户体验产生负面影响.为了满足用户需求,现有的搜索引擎在搜索排序过程中必须有效应对查询歧义性问题.搜索结果多样化是解决这个问题的方法之一,其目标是尽量提升搜索结果的多样性,让搜索结果尽可能多地覆盖不同用户的查询意图,以确保至少有一个结果可以命中实际的用户需求.和传统的搜索排序模型仅考虑文档和查询的相关性不同,多样化排序模型还需要进一步考虑文档的新颖性或者结果集对不同用户意图的覆盖度.现有的多样化算法,根据是否显式地衡量查询包含潜在用户意图所对应的子话题,可以分为隐式多样化模型和显式多样化模型.隐式多样化模型通常只考虑文档之间的相似性,即认为一份结果文档集中的每一个结果文档,彼此之间的不相似度越高,多样化程度越高;而显式多样化模型则显式地考虑不同查询所对应的不同用户意图(以子话题表示),通过衡量结果文档集对不同子话题覆盖的广度来衡量整体的多样化程度.根据多样化特征是人工指定的还是通过监督式学习自动获取的,可以分为启发式模型和学习式模型(也称为非监督式模型和监督式模型).启发式模型使用人工指定的文档相似度或子话题覆盖程度等相关特征来判断每一个文档对多样化的贡献,而学习式模型则可以通过监督式学习,自动地学习到最优化的多样化指标.这两种分类方法相互正交,理论上显式多样化模型优于隐式多样化模型,监督式模型优于非监督式模型,但实际上模型的具体表现也可能受到训练数据总量、子话题质量等其他因素影响.另外,最近学界对强化学习的研究也对信息检索领域产生了一定的影响,由于多样化排序过程也可以被视为一个依次选择每一个候选文档的决策过程,因此也有学者将强化学习引入了搜索结果多样化领域.本文介绍了搜索结果多样化的定义,并对现有多样化算法进行分类整理,详细介绍了每个类别中的代表性方法.我们还进一步介绍了搜索结果多样性评价方法,并给出了一系列方法的对照实验结果.最后,我们对搜索结果多样化技术研究的方向进行了展望.

关键词：信息检索用户意图多样化个性化强化学习

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

手术病例中结构化数据抽取研究

计算机学报 2019年第12期42卷 2754-2768页

作者：卢淑祺窦志成文继荣中国人民大学信息学院中国人民大学大数据管理与分析方法研究北京市重点实验室

目前的手术病例都是以文本的方式记录的.这些文本中包含了大量对日后分析和挖掘有用的信息.通过对大量手术文本进行分析,对手术病例进行数据化和结构化,医院可以对整体病情趋势进行把握并挖掘大量对诊断有用的信息.而在针对具体病人确... 详细信息

目前的手术病例都是以文本的方式记录的.这些文本中包含了大量对日后分析和挖掘有用的信息.通过对大量手术文本进行分析,对手术病例进行数据化和结构化,医院可以对整体病情趋势进行把握并挖掘大量对诊断有用的信息.而在针对具体病人确定手术方案时,也往往需要分析病人的历史病历,根据以前的手术情况来确定新的诊断方案.尤其对于肺部或胸腔的手术来说,确定历史手术的出血量、切除部位、切口数目以及切除范围等内容对医生制定新的手术方案具有重要意义.从历史病例中自动抽取出这些信息,将有效节省医生阅读病例的时间,进而可以让医生把更多的时间用于诊疗方案的制定上.本文重点研究胸腔手术病例中切口数量抽取问题.针对手术病例中并不直接包含切口数量以致无法直接抽取的难点,本文将切口数量抽取问题转换为文本分类问题.基于文本分类的思想,首先针对病例文本中的句子着手研究,先对文本进行分句处理,选择包含切口信息的句子作为切口描述句,并基于双向LSTM(长短期记忆神经网络,Long Short Term Memory)神经网络与Attention(注意力)机制构建分句切口数目提取模型,逐个判定文本中切口描述句所记录的切口数目,最后累加切口数目.此后本文进一步构建层次化切口数目提取模型,首先针对单个句子构建双向LSTM网络作为句子层,并对句子层的输出再次进行过滤作为段落层的输入,构建LSTM神经网络作为段落层,段落层的最终输出降维得出分类结果.实验结果表明,两种切口数目判定方法准确率均可达到98%,超出其他的多种文本分类模型如SVM(支持向量机)以及卷积模型(TextCNN),且后者可拓展性与整体性更佳.

关键词：数目提取文本分类 LSTM 双向LSTM 注意力机制

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于流机制的并行查询执行技术

计算机科学 2000年第4期27卷 9-13页

作者：陈红文继荣王珊中国人民大学数据与知识工程研究所北京100872 中国科学院计算技术研究所北京100080

1 引言在并行数据库的研究中,查询执行计划的调度与执行因其复杂性而受到人们的关注。查询优化时,优化器必须采用有效策略大幅度裁剪搜索空间,以降低优化开销,但这很可能会丧失掉更优的执行计划。另一方面,当系统吞吐量很高时,一个查询... 详细信息

1 引言在并行数据库的研究中,查询执行计划的调度与执行因其复杂性而受到人们的关注。查询优化时,优化器必须采用有效策略大幅度裁剪搜索空间,以降低优化开销,但这很可能会丧失掉更优的执行计划。另一方面,当系统吞吐量很高时,一个查询从优化到执行可能有一个较大的时间差,在查询计划执行时一些重要系统参数可能已经发生了较大变化,从而使该执行计划变得不优甚至难于执行。目前解决这一问题的一种方法是将查询优化与查询执行分开,在查询执行阶段通过有效的调度策略来弥补查询执行计划的缺陷,并进一步平衡系统的负载。

关键词：并行执行数据查询流机制并行数据库

在线全文

学校读者我要写书评

暂无评论

基于深度学习的图片中商品参数识别方法

软件学报 2018年第4期29卷 1039-1048页

作者：丁明宇牛玉磊卢志武文继荣大数据管理与分析方法研究北京市重点实验室(中国人民大学信息学院) 北京100872

计算机计算性能的提升使得深度学习成为了可能.作为计算机视觉领域的重要发展方向之一的目标检测也开始结合深度学习方法并广泛应用于各行各业.受限于网络的复杂度和检测算法的设计,目标检测的速度和精度成为一个trade-off.目前电商领... 详细信息

计算机计算性能的提升使得深度学习成为了可能.作为计算机视觉领域的重要发展方向之一的目标检测也开始结合深度学习方法并广泛应用于各行各业.受限于网络的复杂度和检测算法的设计,目标检测的速度和精度成为一个trade-off.目前电商领域的飞速发展产生了大量包含商品参数的图片,使用传统方法难以有效地提取出图片中的商品参数信息.针对这一问题,提出了一种将深度学习检测算法和传统OCR技术相结合的方法,在保证识别速度的同时大大提升了识别的精度.所研究的问题包括检测模型、针对特定数据训练、图片预处理以及文字识别等.首先比较了现有的目标检测算法,权衡其优缺点,然后使用YOLO模型完成检测任务,并针对YOLO模型中存在的不足进行了一定的改进和优化,得到了一个专用于检测图片中商品参数的目标检测模型,最后使用tesseract完成文字提取任务.在将整个流程结合到一起后,该系统不仅有着较好的识别精度,而且是高效和健壮的.最后讨论了优势和不足之处,并指出了未来工作的方向.

关键词：目标检测图像切割光学字符识别商品参数深度学习

在线全文

学校读者我要写书评

暂无评论

大数据实时交互式分析

软件学报 2020年第1期31卷 162-182页

作者：袁喆文继荣魏哲巍刘家俊姚斌郑凯中国人民大学信息学院北京100872 上海交通大学计算机科学与工程系上海200240 电子科技大学计算机科学与工程学院四川成都610054

实时交互式分析针对多目标和多角度的分析任务,通过多轮次的用户-数据库交互过程,逐步明确分析任务与分析目标,全方位地了解相关领域信息,最终得到科学的、全面的分析结果.相比传统数据库“提交查询-返回结果”的单轮次交互查询方式,实... 详细信息

实时交互式分析针对多目标和多角度的分析任务,通过多轮次的用户-数据库交互过程,逐步明确分析任务与分析目标,全方位地了解相关领域信息,最终得到科学的、全面的分析结果.相比传统数据库“提交查询-返回结果”的单轮次交互查询方式,实时交互式分析更强调交互的实时性与查询结果的时效性.对实时交互式分析的研究已成为近几年研究的热点.针对当前实时交互式分析面临的若干关键问题,对现有的实时交互式分析研究的理论基础、数据模型与系统构架进行了综述.

关键词：实时交互式分析跨模态数据近似查询处理