基于注意力机制的场感知点击率预测模型

作     者：沈学利 韩倩雯 SHEN Xueli;HAN Qianwen

作者机构：辽宁工程技术大学软件学院辽宁葫芦岛125105 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2023年第49卷第3期

页      面：80-86,94页

学科分类：08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：辽宁省教育厅科学技术项目(LJ2020FWL001)。 

主　　题：点击率预测 表示学习 嵌入技术 自注意力机制 特征交互 

摘      要：点击率预测是广告投放的重要手段之一,通过预测广告点击率对用户进行效推荐,能够提高广告收益。在点击率预测任务中,场感知点击率预测模型由于考虑了场信息,表现出一定优越性,但在进行特征交互时会产生大量冗余信息,导致预测准确率较低。提出一种场感知注意嵌入神经网络(FAENN)模型,通过自注意力机制对嵌入层的输入向量进行权重分配,以较好地区分场感知嵌入特征的重要程度,加快模型训练速度。同时使用低阶特征交互层关注特征的一阶显性信息和二阶交互特征信息,并将有效特征输出到高阶交互层,利用高阶特征交互层将学习到的相互作用向量与深度神经网络相结合,捕捉更高阶的特征交互作用,以提高预测准确率。实验结果表明,FAENN模型相比于FM、FFM、AFM等模型有较高的预测准确率。