LightAD: 基于自适应采样的自动去偏框架加速方法

作     者：邱阳 董汉德 陈佳伟 何向南 Yang Qiu;Hande Dong;Jiawei Chen;Xiangnan

作者机构：中国科学技术大学信息科学技术学院安徽合肥230027 

出 版 物：《中国科学技术大学学报》 (JUSTC)

年 卷 期：2024年第54卷第4期

页      面：46-54,45,67页

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

基　　金：supported by the Fundamental Research Funds for the Central Universities(WK2100000019). 

主　　题：推荐系统 偏差 去偏 采样 

摘      要：在推荐系统中,由于数据是从用户行为中收集而来而不是通过合理的实验得到,因此偏差问题是普遍存在的。自动去偏框架(AutoDebias)通过采用元学习寻找适当地去偏置配置(即伪标签和置信权重),已被证明是应对各种偏差的一种通用和有效的解决方案。然而,为每个用户-物品对设置伪标签和权重是一个极度耗时的过程。因此,自动去偏框架面临巨大的计算成本,这使其在实际应用中的适用性较差。虽然使用带有均匀采样器的随机梯度下降可以加速模型训练,但这会显著恶化模型的收敛性和稳定性。为了解决这个问题,我们提出了LightAutoDebias (简称LightAD),它为自动去偏框架配备了一种专门的权重采样策略。该采样器可以自适应地和动态地获取信息量更大的训练样本,这带来的收敛性和稳定性比标准的均匀采样器更好。在三个基准数据集上的广泛实验证明,我们的LightAD可以加速自动去偏框架的训练达几个数量级,同时保持几乎相同的精度。