基于BERT模型的电商文档检索技术研究

作     者：唐天驰 

作者单位：桂林电子科技大学 

学位级别：硕士

导师姓名：徐增敏

授予年度：2023年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：BERT模型 文本匹配 对比学习 语义召回 文档排序 

摘      要：越来越多消费者在线上寻找所需产品和服务,促进了电子商务行业的快速发展。消费者需要通过电商平台进行商品检索,并希望获得与他们需求最匹配的结果。近年来深度学习的理论及应用得到了时间的验证,而自然语言处理是深度学习中的一个重要领域,涉及网页信息检索、电商检索、智能问答等多个方向。在电商检索中,自然语言处理的文本匹配技术能够将用户的查询与商品文档进行语义比对,从而提高检索的准确性和个性化程度。本文研究了基于BERT模型的电商领域文档检索技术,主要工作内容如下:(1)基于SimCSE的语义召回模型基于关键词匹配的传统检索模型只能在查询和文档包含相同关键词时匹配出结果,无法考虑二者间的语义关系,而基于深度学习的语义召回模型可以挖掘查询与文档之间的相关性,提高召回结果的相关性和覆盖率。本文采用了增量预训练策略对BERT模型进行任务自适应的无监督训练,再通过有监督的方式在电商领域数据集上进行对比学习微调,最后将查询和文档映射至语义空间,通过向量检索工具实现快速语义召回,并比较了Elasticsearch、Word2Vec、Sentence-BERT和本文所提模型的MRR@10指标,测试集上的结果表明本文采用的模型取得了最优效果。(2)基于BERT的文档排序模型召回阶段目的是尽可能找到与用户查询相关的文档,编码器在计算查询与文档匹配程度的过程中缺乏二者间的细粒度语义信息,因此需要对召回的文档进行排序,将与查询相关的文档尽可能排在前面,该阶段通常使用交互型编码器对查询与文档进行相关度打分从而实现排序。本文采用向量检索工具faiss为训练集查询样本快速召回相似度前50的文档,并从中选择部分语料作为负样本,采用Adaptive Margin Ranking Loss进行训练,结果表明本文研究的经过语义召回再排序的检索方法效果优越。