检索结果-南通市图书馆

中文信息学报 2016年第4期30卷 134-141页

作者：王明文洪欢江爱文左家莉江西师范大学计算机信息工程学院江西南昌330022

在信息检索建模中,确定索引词项在文档中的重要性是一项重要内容。以词袋(bag-of-word)的形式表示文档来建立检索模型的方法中大多是基于词项独立性假设,用TF和idf的函数来计算词项的重要性,并未考虑词项之间的关系。该文采用基于词项图... 详细信息

在信息检索建模中,确定索引词项在文档中的重要性是一项重要内容。以词袋(bag-of-word)的形式表示文档来建立检索模型的方法中大多是基于词项独立性假设,用TF和idf的函数来计算词项的重要性,并未考虑词项之间的关系。该文采用基于词项图(graph-of-word)的文档表示形式来捕获词项间的依赖关系,提出了一种新的基于词重要性的信息检索图模型ti-idf。根据词项图得到文档中词项的共现矩阵和词项间的概率转移矩阵,通过马尔科夫链计算方法来确定词项在文档中的重要性(Term Importance,ti),并以此替代索引过程中传统的词项频率TF。该模型具有更好的鲁棒性,我们在国际公开数据集上与传统的检索模型进行了比较。实验结果表明,该文提出的模型都要优于BM25,且在大多数情况下优于BM25的扩展模型、TW-idf等模型。

关键词：词项重要性词项图检索模型 ti-idf

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于词重要性的信息检索图模型

基于词重要性的信息检索图模型

引用

作者：洪欢江西师范大学

学位级别：硕士

随着移动互联网技术的发展,无处不在的搜索已经成为人类日常生活的重要组成部分。互联网上的信息量在过去十几年中呈现出爆炸式的增长,如何从海量信息资源中找出与用户给定需求(查询)最为相关的信息成为当前搜索引擎面临的主要难题,这... 详细信息

随着移动互联网技术的发展,无处不在的搜索已经成为人类日常生活的重要组成部分。互联网上的信息量在过去十几年中呈现出爆炸式的增长,如何从海量信息资源中找出与用户给定需求(查询)最为相关的信息成为当前搜索引擎面临的主要难题,这就需要搜索引擎提供有效的信息检索模型。因此,找出更加有效的检索模型是信息检索研究工作中一项长期的挑战。在信息检索建模中,确定索引词项在文档中的重要性是一项重要内容。以词袋(bag-of-word)的形式表示文档以建立检索模型的方法中大多基于词项独立性假设,仅使用词项频率(Term Frequency,TF)和词项逆文档频率(Inverse Document Frequency,idf)的函数来计算词项在文档中的权重,并未考虑词项之间的依赖关系。本文采用基于词项图(Graph-of-word)的文档表示形式以捕获词项间的依赖关系,采用马尔科夫链计算方法度量词项在文档中的重要性,提出了一种新的基于词重要性(Term Importance,ti)的信息检索图模型ti-idf。本文的主要创新工作包括:(1)新的文档词项图表示形式;通过对文档进行分句,以句子为单位构建每篇文档的词项图(无向有权图)。在文档词项图中,以顶点表示文档中出现的索引词项,任意两个词项之间的无向边表示这两个词项在文档的某一句子中共现,无向边的权重则表示两个词项在该文档中共现的句子个数。(2)词项重要性(ti)度量;根据构建的文档词项图,得到该文档内词项间的共现矩阵,进而计算词项间的概率转移矩阵,并通过采用马尔科夫链计算方法确定词项在文档中的重要性。(3)基于词重要性的信息检索图模型ti-idf。将词项在文档中的重要性(ti)替代传统基于词袋形式表示文档的检索模型中的词项频率(TF),并结合TF?idf词项权重计算框架以及已有的TF归一化方法,通过对比实验确定了本文提出的检索图模型ti-idf的词项权重计算方案。我们在标准数据集上进行了实验,结果表明,与传统的检索模型相比,本文提出的检索图模型ti-idf具有更好的鲁棒性,它的检索结果均优于BM25模型,且在大多数情况下优于BM25的扩展模型、TW-idf等模型。

关键词：词项权重计算检索模型词项图词项重要性 ti-idf

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：