基于位置敏感哈希的海量文本数据查询算法研究

作     者：蒋巍 Jiang Wei

作者机构：哈尔滨金融学院哈尔滨150030 

出 版 物：《科技通报》 (Bulletin of Science and Technology)

年 卷 期：2013年第29卷第10期

页      面：70-72页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：黑龙江省教育厅2013年度科学技术研究(面上)项目(12531089) 

主　　题：位置敏感哈希 海量文本数据 哈希桶 排序 

摘      要：提出了一种基于位置敏感哈希算法的海量文本数据查询算法,通过位置敏感哈希算法将文本数据的特征向量映射到哈希桶中,从而有效地降低了计算复杂度并提高了数据检索的效率。首先,利用TF-IDF特征表示文本的特征向量,并根据给定的哈希函数集把文本的特征向量映射至哈希桶;接下来,利用哈希表为给定的文本计算出与之对应的直方图,通过直方图距离计算文本的相似度;最后,通过计算目标文本集中的文本与待查询文本的相似度进行文本排序,排序分值高的文本作为相关文本返回给用户。实验结果表明,对比已有方法文本提出的算法在MAP以及查全率-查准率曲线两个测度上都获得了较好的性能。