检索结果-南通市图书馆

基于图的特征词权重算法及其在文档排序中的应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机系统应用 2012年第6期21卷 216-218,194页

作者：黄云洪佳明颜一鸣吉首大学软件学院张家界427000 中山大学信息科学与技术学院广州510006

信息检索的核心工作包括文档的分类和排序等操作,如何对文档中的特征词权重进行有效度量是其中的一项关键技术。利用词的共现等关系为每个文档建立文本图,基于邻接词间重要性相互影响的思路,结合文档中特征词的词频特性,迭代计算每个词... 详细信息

信息检索的核心工作包括文档的分类和排序等操作,如何对文档中的特征词权重进行有效度量是其中的一项关键技术。利用词的共现等关系为每个文档建立文本图,基于邻接词间重要性相互影响的思路,结合文档中特征词的词频特性,迭代计算每个词的权重,进一步结合文本图的密度等全局特性,对信息检索的结果进行排序。实验证实,算法在标准数据集上具有良好的效果。

关键词：文本图共现关系文档排序特征词权重

在线全文

学校读者我要写书评

暂无评论

基于BERT模型的电商文档检索技术研究

基于BERT模型的电商文档检索技术研究

作者：唐天驰桂林电子科技大学

学位级别：硕士

越来越多消费者在线上寻找所需产品和服务,促进了电子商务行业的快速发展。消费者需要通过电商平台进行商品检索,并希望获得与他们需求最匹配的结果。近年来深度学习的理论及应用得到了时间的验证,而自然语言处理是深度学习中的一个重... 详细信息

越来越多消费者在线上寻找所需产品和服务,促进了电子商务行业的快速发展。消费者需要通过电商平台进行商品检索,并希望获得与他们需求最匹配的结果。近年来深度学习的理论及应用得到了时间的验证,而自然语言处理是深度学习中的一个重要领域,涉及网页信息检索、电商检索、智能问答等多个方向。在电商检索中,自然语言处理的文本匹配技术能够将用户的查询与商品文档进行语义比对,从而提高检索的准确性和个性化程度。本文研究了基于BERT模型的电商领域文档检索技术,主要工作内容如下:(1)基于SimCSE的语义召回模型基于关键词匹配的传统检索模型只能在查询和文档包含相同关键词时匹配出结果,无法考虑二者间的语义关系,而基于深度学习的语义召回模型可以挖掘查询与文档之间的相关性,提高召回结果的相关性和覆盖率。本文采用了增量预训练策略对BERT模型进行任务自适应的无监督训练,再通过有监督的方式在电商领域数据集上进行对比学习微调,最后将查询和文档映射至语义空间,通过向量检索工具实现快速语义召回,并比较了Elasticsearch、Word2Vec、Sentence-BERT和本文所提模型的MRR@10指标,测试集上的结果表明本文采用的模型取得了最优效果。(2)基于BERT的文档排序模型召回阶段目的是尽可能找到与用户查询相关的文档,编码器在计算查询与文档匹配程度的过程中缺乏二者间的细粒度语义信息,因此需要对召回的文档进行排序,将与查询相关的文档尽可能排在前面,该阶段通常使用交互型编码器对查询与文档进行相关度打分从而实现排序。本文采用向量检索工具faiss为训练集查询样本快速召回相似度前50的文档,并从中选择部分语料作为负样本,采用Adaptive Margin Ranking Loss进行训练,结果表明本文研究的经过语义召回再排序的检索方法效果优越。

关键词： BERT模型文本匹配对比学习语义召回文档排序

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于预训练模型的生物医学文本问答研究

基于预训练模型的生物医学文本问答研究

作者：张祥良聊城大学

学位级别：硕士

生物医学领域的问答系统,不仅能让普通用户简便快捷地解决自己的疑问,还可以服务于该研究领域的专业工作者。因此,对生物医学领域文本问答的研究具有重要意义。在过去几年里,文本问答在生物医学领域受到了广泛的关注,但此研究也面临着... 详细信息

生物医学领域的问答系统,不仅能让普通用户简便快捷地解决自己的疑问,还可以服务于该研究领域的专业工作者。因此,对生物医学领域文本问答的研究具有重要意义。在过去几年里,文本问答在生物医学领域受到了广泛的关注,但此研究也面临着长期的挑战。互联网的迅速发展造就了今天的数据爆炸时代,在此环境下,尽管人们可以快捷方便的获取大量感兴趣的信息,但甄别有效的信息却又非常困难。自然语言处理领域中文本问答成为当今学术界和工业界共同的研究热点,使得这一难题的解决成为可能。在生物医学领域,对文本问答的研究主要集中在基于阅读理解的问答,基于知识库的问答研究较少,而且现有的基于知识库的问答研究常利用规则或本体,构建过程复杂,耗时耗力,且效果一般。针对以上问题,本文聚焦生物医学领域文本问答进行了以下研究:1.本文提出了一个基于预训练模型的生物医学文本问答系统Bio BERTserini,该系统利用了深度学习中的神经网络技术,解决了基于规则或本体方法的缺陷。针对现有的生物医学文本问答系统研究集中于阅读理解,而忽略了基于知识库的问答这一问题,Bio BERTserini将Bio BERT预训练模型与Anserini信息检索工具包集成在一起,在不同级别的检索知识库上进行了实验,实现了基于大型知识库回答现实世界中的生物医学领域问题。结果表明,与现有的系统相比,本文提出的系统在Bio ASQ事实类问题和是否类问题上取得了更好的效果。2.为了进一步提升问答系统的性能,本文使用了结构简单但功能强大的基于神经排序的方法对生物医学问答系统进行了改进。改进的问答系统分为检索、文档重排序、答案提取三个阶段。在检索阶段使用了传统的基于BM25的文档检索器对知识库检索。针对生物医学领域缺乏问答系统的知识库(如开放领域的维基百科)的情况,本文收集了Pub Med量级大小的数据,并进行了格式转换,使其包含了可以直接或间接回答所有问题的信息。文档重排序阶段使用了基于BERT的神经排序器模型,创建了神经排序语料库对模型进行微调,然后使用了模型对文档进行了重排序,使得与问题相关的文档排序更加靠前,从而进一步改善了检索的结果。答案提取阶段使用了Bio BERT预训练语言模型进行答案提取。在答案提取阶段,需要使用少量的监督训练数据进行模型的微调。鉴于生物医学领域缺乏足够的监督训练数据,本文采用了数据增强和领域自适应技术,以进一步加强系统性能。本文与现有方法进行了对比并在Bio ASQ8b上获得了较好的结果。

关键词：生物医学文本问答信息检索预训练语言模型迁移学习数据增强文档排序

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

数学公式信息检索系统

池州学院学报 2023年第6期37卷 5-10页

作者：侯勇朱俊杰蚌埠学院计算机与信息工程学院安徽蚌埠233030

设计并实现了数学公式信息检索系统MFIRS,该系统的体系结构主要包括输入规范化、统一化数学公式、编码数学公式、抽取文本信息、抽取数学公式依存图、索引数学公式、检索与排名等模块。提出了一种基于表示型MathML的数学公式相似性索引... 详细信息

设计并实现了数学公式信息检索系统MFIRS,该系统的体系结构主要包括输入规范化、统一化数学公式、编码数学公式、抽取文本信息、抽取数学公式依存图、索引数学公式、检索与排名等模块。提出了一种基于表示型MathML的数学公式相似性索引方法。使用了大约7.9×10^(5)个arXiv文档和大约1.5×10^(8)个数学公式创建了Mathreteval数据集,并在此数据集上,对系统的可扩展性进行了验证。该系统前端采用web界面,允许用户在检索时,用纯文本和数学公式组成的复杂查询,数学公式可采用TEX语言或MathML编写。用TEX语言查询时,能够即时将其转换为表示型MathML树,再进行索引。此MFIRS是一种具有数学感知特点的数学公式信息检索系统,能够使用子公式相似性检索,并实现了对邻近数学公式的索引。

关键词：数学公式索引检索数学内容表示文档排序检索系统

在线全文

学校读者我要写书评

暂无评论

基于推理网络的文本检索模型

控制与决策 2001年第B11期16卷 805-807,817页

作者：刘树安于大鹏东北大学信息科学与工程学院辽宁沈阳110004

在研究现有文本信息检索技术的基础上 ,设计了基于推理网络的文本检索模型。提出一种改进的推理算法 ,以实现从文档观察事件到索引词出现事件的推理 ,使新模型可以更全面地利用文本数据信息。

关键词：文本信息检索推理网络文本检索模型文档排序

在线全文

学校读者我要写书评

暂无评论

基于机器阅读理解的政务问答系统研究与实现

基于机器阅读理解的政务问答系统研究与实现

作者：肖路西安电子科技大学

学位级别：硕士

自2018年李克强总理提出“互联网+政务服务”概念以来,国内的政务智能问答系统不断涌现。但是大多数的政务问答系统都是基于知识图谱的检索式问答,由于实体和关系的抽取比较复杂,导致知识图谱的构建需要耗费大量的时间和人力。随着深度... 详细信息

自2018年李克强总理提出“互联网+政务服务”概念以来,国内的政务智能问答系统不断涌现。但是大多数的政务问答系统都是基于知识图谱的检索式问答,由于实体和关系的抽取比较复杂,导致知识图谱的构建需要耗费大量的时间和人力。随着深度学习技术在自然语言处理中的广泛应用,目前也出现了一些基于机器阅读理解的问答系统,但是由于这些机器阅读理解模型结构设计过于简单,只能适用于一些简单问题的回答,对于多跳推理的复杂问题,不能很好的解决。针对以上问题,本文主要工作有:1)政务知识库的构建:通过Scrapy框架对各个省部级官网的政务新闻进行爬取和清洗,然后将其存储到Elastic Search的检索库中。当输入一个问题时,通过Elastic Search给出与当前问题相关的几篇文章。为了提升Elastic Search的检索准确率,研究了建立倒排索引所需的分词技术,如:LAC,Jie Ba等分词方法,以及BM25,TFIDF等文本相似度匹配算法。2)政务文章的精排序:由于Elastic Search的检索是基于词级别的匹配,没有进行语义方面的深度匹配。针对此问题,本文研究了Point Wise,Pair Wise,List Wise等文章精排序算法,提出了一种基于Roberta的多层信息注意力融合的排序模型,比原始Elastic Search在命中率上高9%,比未进行多层信息注意力融合的Roberta模型在命中率上高1.5%。3)阅读理解模型构建:研究了传统的Doc QA,Bi DAF,QANet等阅读理解模型,以及目前基于预训练任务的阅读理解模型。由于有些问题在文章中得出答案需要进行多步推理。而现有的模型很难解决这种问题,为了解决这种问题,本文结合Roberta预训练模型,提出了一种基于图神经网络的机器阅读理解模型。该模型比不加图结构的Roberta模型在法研杯阅读理解数据集上joint F1高出2.18%。在Hotpot QA数据集上,joint F1比原始的Roberta模型高出了0.65%。在本文的政务阅读理解数据集上EM指标提高了0.12%,F1指标提高了0.17%。最后借助Flask web框架实现了基于机器阅读理解的政务问答系统。当用户向系统提问问题时,首先,在Elastic Search中粗粒度的召回10篇文章,然后采用精排序模型对召回的文本进行精排序,接着,将最相关的五篇文章拿出来和用户提问的问题做阅读理解任务,最后,锁定问题的答案,展示给用户。本系统主要提供两种政务服务,一种是智能政务问答,另外一种是相关文档的检索。

关键词：政务问答文档排序机器阅读理解 ElasticSearch

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

垂直搜索引擎在烟草行业的研究与应用

垂直搜索引擎在烟草行业的研究与应用

作者：陈龙飞浙江理工大学

学位级别：硕士

互联网的飞速发展一方面给我们提供了极其丰富的信息,另一方面也加大了信息过滤的难度。互联网用户越来越依赖于搜索引擎来缩小信息检索的范围,从而更高效地获取自己感兴趣的内容。但是,用户的期望结果是小而精,通用搜索引擎追求的目标... 详细信息

互联网的飞速发展一方面给我们提供了极其丰富的信息,另一方面也加大了信息过滤的难度。互联网用户越来越依赖于搜索引擎来缩小信息检索的范围,从而更高效地获取自己感兴趣的内容。但是,用户的期望结果是小而精,通用搜索引擎追求的目标是大而全,与用户的特定需求南辕北辙。在这种背景下,垂直搜索引擎应运而生。如果把互联网当作一个服务提供者,则其成熟的一条重要标志就是由通用化向订制化发展,垂直搜索引擎的出现即是这种转换的具体表现,也是搜索引擎未来的发展方向。首先,本文结合互联网的发展史,综述了垂直搜索引擎的出现背景及意义。以烟草行业为例,深入分析了企业日益增长的信息检索需求与通用搜索引擎固有局限性之间的矛盾,论证了垂直搜索引擎应用于企业的必要性与可行性。然后结合笔者在烟草企业的实习经历,设计并实现了一种针对烟草行业的垂直搜索引擎。在对垂直搜索引擎的整体架构和关键技术充分研究的基础上,提出了一种“三度过滤”的主题判别方法,并提高了PageRank算法在实际应用中的适应性。然后对开源项目Lucene进行了本地化改造,最终开发出一款适用于烟草行业的垂直搜索引擎。本文主要研究内容如下:(1)在研习搜索引擎典型架构的基础上,详细阐述了中文分词、倒排索引和链接分析三项关键技术的实现原理。通过横向对比总结出了各种搜索模型的优缺点,以布尔模型实现基础的文本筛选,以空间向量模型实现高级的匹配运算,从而建立起符合烟草行业特点的搜索模型,兼具简单易行和支持相关性评分两方面优势。(2)编程模拟了Page Rank算法的迭代过程,对出链-入链矩阵中的黑洞问题和PageRank向量的数据失衡问题进行了深入的分析。黑洞问题会造成部分网页垄断PageRank得分,使评分结果有失客观性与科学性;而数据失衡问题会造成迭代过程的收敛速度过慢,无法应用于大规模的计算。本文通过引入马尔科夫链理论对模型加入两次随机性调整,使之更符合上网者随机浏览网页的过程,从根本上杜绝了黑洞问题的产生并加快了PageRank的收敛速度。(3)提出了一种“三度过滤”的主题判别方法。借助烟草行业的专业词库,在主题判别的过程中将预判因子、元信息因子、词库因子纳入主题相关度的计算,有效过滤了与主题无关的网页,大大提高了搜索引擎的查准率。另一方面,该算法得出的预判因子还用于调整URL队列的优先级,帮助主题爬虫优先抓取主题相关度更高的网页。(4)通过对Lucene源代码的本地化改造,实现了开源项目与系统开发的兼容性整合。结合原始的空间向量模型,对影响网页欢迎度与主题相关度的各项因子进行调整,将查询词的词频、词类、通用性以及文档长度纳入综合统计,并对不同的查询域进行差异化加权,最终得出了符合烟草行业特点的评分公式。

关键词：垂直搜索 PageRank算法主题判别网络爬虫文档排序

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向信息检索的微博帖权威性计算方法研究

面向信息检索的微博帖权威性计算方法研究

作者：危艳华华中师范大学

学位级别：硕士

随着无线网技术不断发展以及智能移动设备的进一步普及,微博,作为当今最受欢迎的沟通方式之一,逐渐成为了人们实时分享信息和讨论热点话题的重要平台。面对微博中如此海量的信息数据,用户想要从中获取真正有质量的信息的需求也变得越来... 详细信息

随着无线网技术不断发展以及智能移动设备的进一步普及,微博,作为当今最受欢迎的沟通方式之一,逐渐成为了人们实时分享信息和讨论热点话题的重要平台。面对微博中如此海量的信息数据,用户想要从中获取真正有质量的信息的需求也变得越来越迫切。微博检索,是一种有效获取信息的方式,引起了信息检索领域学者的广泛关注。同时,微博检索也存在一些问题,例如实体搜索,情感分析以及权威和质量方面的抽象建模。微博文本由互联网上大量不同的用户创作而成,针对特定的话题,不同用户的权威性表现出很大的差异,把微博帖的权威性融入到微博文本的排序过程可以提高微博信息检索的效果。本文的主要任务有:第一,目前中文微博的检索测试集欠缺,限制了中文微博信息检索研究的发展。信息检索测试集的构建是一件非常艰巨的工作,需要大量的人力标注。本文利用微博标签构建微博检索测试集,在保证质量的同时大大降低了人工标注的工作量。测试集主要由文档语料库,查询主题集以及相关性判定的标准集三部分组成。在构建测试集的过程中,使用的腾讯微博下载的微博数据集作为文档集,并抽取微博数据集中的标签,通过标签对应的相关文档和检索效果确定一个包含52个查询文本的查询主题集。针对每一个查询主题,检索与该查询主题相关的文档,并生成了一个相关性标准集用于判定检索的效果。第二,提出了两种微博帖权威性的计算方法。一种是基于绝对转发数的微博帖权威性计算方法。通过挖掘微博文本中的丰富语义信息并结合用户的行为,发现微博帖的质量与用户的行为信息直接相关,其中,微博中的转发行为具有传播功能,表明了用户对微博信息质量的认可度。在计算微博帖权威性的过程中,在基于语言模型信息检索方法的框架下,使用微博帖的绝对转发数作为文档的先验概率,计算微博帖的权威性分值并实现文档初始排序。另外一种是基于PostRank算法的微博帖权威性计算方法。根据初始排序中微博帖之间的转发关系,构建微博帖转发关系图,并利用链接分析算法PageRank计算微博文档得分,再结合初始排序中文档得分,重新计算微博帖权威性分值,实现文档重排,在中文微博检索测试集上的实验证明了方法的有效性。

关键词：测试集语言模型权威性文档排序

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于全文检索引擎的信息检索技术的应用研究

计算机与数字工程 2008年第9期36卷 81-85页

作者：励子闰余青松陈胜东华东师范大学信息学院计算中心上海200241

利用基于JAVA的全文检索引擎Lucene软件包实现了一个电子文档全文检索,并对文本建立索引的4种不同的分词方式进行了讨论及适当地改进。为了提高搜索结果的准确度,在原有文档相关度排序算法的基础上,采用了基于用户行为的二次检索方式。... 详细信息

利用基于JAVA的全文检索引擎Lucene软件包实现了一个电子文档全文检索,并对文本建立索引的4种不同的分词方式进行了讨论及适当地改进。为了提高搜索结果的准确度,在原有文档相关度排序算法的基础上,采用了基于用户行为的二次检索方式。在提高用户体验度方面,采用了Ajax异步通信技术,在用户输入查询条件时,实时地从数据库中提取相关关键词,给与用户提示,供用户选择。

关键词：搜索引擎 Lucene 中文分词文档排序 Ajax