基于深度神经网络的点击率预测模型

作     者：刘弘历 武森 魏桂英 李新 高晓楠 LIU Hong-li;WU Sen;WEI Gui-ying;LI Xin;GAO Xiao-nan

作者机构：北京科技大学经济管理学院北京100083 

出 版 物：《工程科学学报》 (Chinese Journal of Engineering)

年 卷 期：2022年第44卷第11期

页      面：1917-1925页

核心收录：

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

基　　金：国家自然科学基金资助项目(71971025)。 

主　　题：点击率预测 长短期兴趣网络 深度神经网络 注意力机制 循环神经网络 卷积神经网络 

摘      要：针对现有深度神经网络点击率预测模型在对用户偏好建模时,难以有效且高效地处理用户行为序列的问题,提出长短期兴趣网络(Long and short term interests network,LSTIN)模型,充分利用用户历史记录上下文信息和顺序信息,提升点击率预测精准性和训练效率.使用基于注意力机制的Transformer和激活单元结构完成用户长、短期兴趣建模,对用户短期兴趣进一步使用循环神经网络(Recurrent neural network,RNN)、卷积神经网络(Convolutional neural networks,CNN)进行处理,最后使用全连接神经网络进行预测.在亚马逊公开数据集上开展实验,将提出的模型与基于分解机的神经网络(DeepFM)、深度兴趣网络(Deep interest network,DIN)等点击率预测模型对比,结果表明提出的模型实现了考虑上下文信息和顺序信息的用户历史记录建模,接受者操作特征曲线下面积(Area under curve,AUC)指标为85.831%,相比于基础模型(BaseModel)提升1.154%,相比于DIN提升0.476%.且因区分用户长、短期兴趣,模型能够在提升预测精准性的同时保障训练效率.