基于高质量语义和双注意力机制的潜在高价值专利识别研究

作     者：窦路遥 周志刚 申婧 冯宇 苗均重 

作者机构：山西财经大学信息学院 重庆大学经济与工商管理学院 哈尔滨工业大学计算机科学与技术学院 

出 版 物：《数据分析与知识发现》 (Data Analysis and Knowledge Discovery)

年 卷 期：2024年

核心收录：

学科分类：1205[管理学-图书情报与档案管理] 12[管理学] 120501[管理学-图书馆学] 081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 120502[管理学-情报学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目“多源数据融合场景下的对抗式隐私洞察靶向保护技术研究”(项目编号:61902226) 中国教育技术协会重点项目“财经专业背景下大数据核心技术产学研用多维一体的创新性研究”(项目编号:XJJ202205014) 山西省研究生教育教学改革课题“产教融合、校企合作联合育人机制模式探索与实践”(项目编号:2023JG110)的研究成果之一 

主　　题：高质量语义 双注意力机制 XLNet BiGRU CNN 潜在高价值专利 

摘      要：[目的] 解决潜在高价值专利识别过程中序列建模的长距离依赖问题以及序列特征的关键信息获取问题，提升潜在高价值专利识别精准度和可解释性。[方法] 提出一种基于预训练模型XLNet和双注意力机制BiAttention的潜在高价值专利识别模型（XLBBC），通过XLNet模型进行专利文本表示和高质量语义获取，再利用BiGRU网络获取全局文本序列信息，随后嵌入BiAttention层使模型集中注意力于输入序列的不同部分，联合CNN层捕捉专利文本中的关键短语和特定模式。在非晶合金、工业机器人、钙钛矿太阳能电池等领域的混合专利数据集展开实证研究。[结果] 该模型在一定数据规模（40000条专利数据）时具备高准确性(0.89)和一致性(0.65)的双重优势；模型的预测准确率达到42%左右，较之既有研究模型的准确率提升约9%。[局限] 尚未考虑标准必要专利与高价值专利的关联关系和融合机制，算法复杂度有待提升。[结论] XLBBC模型在文本分类层面的效果优于CNN等组合模型；XLNet模型在全局语义理解上具备优越性；当注意力层处于XLNet-BiGRU层和CNN层之间时，会取得更好的模型效果。