检索结果-南通市图书馆

作者：甄静茹安徽师范大学

学位级别：硕士

随着推荐系统、搜索引擎、互联网广告等领域的迅速发展,庞大的信息数据不断暴增。为应对信息过载的问题,利用物品信息、用户历史浏览记录等数据,对不同用户进行个性化推荐的点击率(Click-Through-Rate,简称CTR)预测技术应运而生。该项... 详细信息

随着推荐系统、搜索引擎、互联网广告等领域的迅速发展,庞大的信息数据不断暴增。为应对信息过载的问题,利用物品信息、用户历史浏览记录等数据,对不同用户进行个性化推荐的点击率(Click-Through-Rate,简称CTR)预测技术应运而生。该项技术可以挖掘用户兴趣、强化宣传效果、优化广告成本等。因此,对于点击率预测的研究具有重要的理论和实际价值。尽管当前基于深度学习的点击率预测已经取得了不错的进展,但仍存在一些问题。首先是难以有效地挖掘用户兴趣特征信息,其次是如何保证模型效能的基础上保护用户隐私安全。因此,如何构建有效的面向隐私保护的点击率预测模型成为当前的研究难点。本文旨在探究面向隐私保护的点击率精准预测方法,通过对现有方法进行分析和改进,引入联邦学习等技术构建新型模型框架,提高预测准确率的同时保障用户隐私,为广告系统的发展做出贡献。本文基于深度学习与隐私保护技术方法,针对现有点击率预测模型的精度不足,隐私安全问题,聚焦于提高预测精度展开研究,主要研究内容如下:(1)基于多层深度兴趣网络的多视角点击率预测:提出一种新型点击率预测兴趣模型:MDIN(Multi-view Click-through Prediction based on Multi-layer Deep Interest Networks),通过构建新型ALGRU方法,结合多头自注意力机制,从不同方面深度挖掘用户的兴趣表征。多维兴趣演化网络与多维兴趣提取网络从多种表征中习得用户的复杂兴趣。(2)面向隐私保护的深度兴趣网络点击率预测:提出了FL-MDIN(MDIN based on Federated Learning)模型,该方法不仅可以较为显著的提高推荐系统性能,还可以有效地保护用户的数据安全。在改进的深度学习方法基础上,结合联邦学习和差分隐私等算法,划分用户数据,选取部分信息更新全局梯度模型,有效地提高了用户的隐私安全。总的来说,本文设计了一种多层的点击率预测模型(MDIN)从不同方面挖掘用户的兴趣。接着为了在提高模型精度的同时能够保护用户的隐私安全,本文在此基础上设计了面向隐私保护的点击率预测模型(FL-MDIN)。通过实验结果验证,该模型在点击率精准预测的同时具有较好的隐私保护效果。

关键词：深度学习点击率预测推荐系统联邦学习差分隐私

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于机器学习的新闻点击率预测研究

基于机器学习的新闻点击率预测研究

作者：魏冉东北财经大学

学位级别：硕士

随着信息技术的快速发展和优化创新,新闻行业呈现多元化发展形态,科技推动了新闻业的发展进程。从报纸、广播、电视等传统媒体,到现在的新媒体数字化平台,新媒体在资源、流量等方面有很大的优势,有利于信息的有效传播。数字科技在自身... 详细信息

随着信息技术的快速发展和优化创新,新闻行业呈现多元化发展形态,科技推动了新闻业的发展进程。从报纸、广播、电视等传统媒体,到现在的新媒体数字化平台,新媒体在资源、流量等方面有很大的优势,有利于信息的有效传播。数字科技在自身发展的同时也给人们的生活带来了影响。人们获取信息的途经越来越多,获取信息的方式也越来越科技化、智能化,这也使得网络媒体对新闻传播的作用更加突出。然而在信息技术和数字化平台快速发展的同时,也生成了大量数据,带来了海量的数据增长问题。面对日益产生的复杂数据,资讯过载问题增加了用户从海量数据中迅速精准地获取感兴趣信息的难度,同时在用户增多、数据增长的情况下,系统平台需要健康稳定运转并且带给用户良好的体验,这就需要系统平台有效地利用平台积累的海量的用户历史行为数据,积极主动地发掘用户的潜在价值,并根据用户的行为习惯分析用户的偏好,综合考虑不同用户的不同需求,以满足其需求为目标,针对不同用户实施高效准确、个性化的推荐,在提升用户体验感的同时也提高平台自身使用率和用户活跃度。要想实现个性化推荐,首先要实现精准化预测,预测是推荐的基础,准确的预测效果能够为合理有效的推荐提供信息支撑,所以本文针对数字化新闻发布平台的个性化推荐问题进行了新闻点击率预测研究。本文首先介绍了网络新闻用户规模及用户使用率的现状,然后对推荐系统算法和点击率预估模型的国内外研究现状进行了介绍,其中包括最早应用于推荐系统领域的协同过滤算法,这也是广泛应用的一种算法,在协同过滤的基础上产生的矩阵分解法,基于模型的推荐算法,基于内容的推荐算法,以及混合推荐算法,还包括可用于点击率预测的最基础的逻辑回归模型,Poly2模型,因子分解机模型,在因子分解机模型的基础上衍生出的基于域的因子分解机模型,以及FNN等,介绍了有关算法及模型的理论基础和模型框架,为后续的模型设计提供理论支撑。进一步选取了某新闻App平台的用户实际操作数据,首先对数据集进行了探索性分析,了解各个特征下用户的行为情况。深入研究数据预处理、特征编码以及特征工程相关的理论和技术,根据数据集中的特征情况和取值变量类型进行了缺失值分析和特征编码处理,在特征工程阶段,综合数据情况和实际背景构造了统计特征、历史点击率特征、曝光特征,为后续模型的建立提供数据支撑。最后构建新闻点击率预测模型,通过用户的基本信息和包含用户历史行为的数据,分析用户的行为偏好及行为习惯,预测用户对新闻是否产生点击行为,进而实现精准化推荐。本文通过构建GBDT+FFM的组合模型来实现预测,采用Embedding技术对数据集中的高维稀疏特征进行处理。在实验结果分析阶段,进行了不同实验的对比,其中包括实施了特征工程和未进行特征工程的模型预测结果对比,以及组合模型与其他的基础模型预测结果对比,实验结果表明,特征工程提升了新闻点击率预测的准确性,GBDT+FFM的组合模型在点击率预测上相较于其他基础模型算法有较好的预测性能。

关键词：点击率预测新闻梯度提升决策树 FFM

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于注意力机制下的点击率预测模型研究

基于注意力机制下的点击率预测模型研究

作者：柴沛霖山东大学

学位级别：硕士

随着互联网的高速发展,网民数量呈现爆炸式增长。互联网公司掌握了极其庞大的流量群体,因此其急需将手中的流量转化成实际利益,广告推送则是变现流量的重要方式。点击率预测模型能够根据用户的经历和物品的特征计算出用户点击物品或商... 详细信息

随着互联网的高速发展,网民数量呈现爆炸式增长。互联网公司掌握了极其庞大的流量群体,因此其急需将手中的流量转化成实际利益,广告推送则是变现流量的重要方式。点击率预测模型能够根据用户的经历和物品的特征计算出用户点击物品或商品的可能性,因此在广告推荐和商品推荐上具有重要地位。近些年来,点击率预测模型得到了充分的发展,模型推荐的广告更加广泛精准。但是在对研究现状进行分析后,现有的点击率预测模型存在以下问题:(1)自注意力机制不适合挖掘特征交互信息。自注意力机制被设计用于处理不定长的序列数据,但基于特征交互信息的模型的输入是长度固定的类,直接使用会限制模型的信息挖掘能力。当前一些基于特征交互信息的模型直接融合自注意力机制进行预测,未对机制进行改进。(2)现存的双路并行结构的模型只对挖掘低阶信息的结构进行改进,忽略了挖掘高阶信息的结构的创新,不利于模型挖掘高阶信息。(3)现存的双路并行结构的点击率预测模型学习的信息有限且类型单一。一路结构只能挖掘特征之间的特征交互信息,忽略了特征组的交互信息,另一路结构只挖掘高阶特征交互信息,忽略了用户历史行为信息,使模型对广告或商品的推荐准确率和多样性受限。针对以上问题,本文做出了以下工作:(1)针对问题1,本文提出内注意力机制,并将其改造为内部信息交互模型。内注意力机制让样本对自身进行注意力分数计算,从而挖掘更多特征交互信息。此外,本论文对内注意机制和自注意力机制进行了数学论证,发现内注意机制能够融合自注意力机制。内部信息交互模型主要包含Embedding层、内注意力机制、残差网络和前馈神经网络四个部分,能够更好地挖掘特征交互信息。实验结果表明:内注意力机制在Criteo数据集和MovieLens-1M数据集准确率比自注意力机制提升1.05%和1.09%,证明内注意力机制比自注意力机制更适用于挖掘特征交互信息;内部信息交互模型与其他基准模型相比准确率平均提升1.38%和2.35%,证明内部信息交互模型预测更加精准。(2)针对问题2,本论文提出外部信息交互模型,外部信息交互模型基于外注意力机制而设计,该模型具有两个共享记忆力单元,能够轻度存储用户历史行为信息,挖掘推荐商品与用户的历史行为的关联,从而获取更多的高阶信息。此外,外部信息交互模型结构也较为轻量,有利于应用于大规模数据领域。实验结果表明,外部信息交互模型在Criteo数据集和MovieLens-1M数据集准确率相对旧有结构平均提升0.12%和0.11%,运行速度与DNN模型相近,改进了旧有结构性能。(3)针对问题3,本文将用外部信息交互模型与内部信息交互模型组合成新的双路并行模型——双重注意力交互模型。双重注意力交互模型利用内部信息交互模型挖掘其他模型忽略的特征交互信息,如单特征与特征组、特征组与特征组之间的特征交互信息;利用外部信息交互模型挖掘用户历史行为信息,实现了对两种信息的高效挖掘。经过与其他先进的双路并行模型的实验对比,双重注意力交互模型在Criteo数据集和MovieLens-1M数据集上预测准确率平均分别提升0.23%和1.38%,多样性参数平均分别提升0.20%和1.01%,证明了双重注意力交互模型比当前主流的双路并行模型更加有效。

关键词：点击率预测深度学习信息交互注意力机制推荐系统

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向点击率预测的深度学习算法研究

面向点击率预测的深度学习算法研究

作者：陈新广西大学

学位级别：硕士

随着互联网以及大数据技术的飞速发展,广告行业发生了颠覆性的变革,从传统的广播、电视广告逐渐转向能够实现精准投放的互联网广告。点击率预测是互联网广告实现精准投放的关键,与用户体验的满意度以及广告商的经济收益息息相关,因此得... 详细信息

随着互联网以及大数据技术的飞速发展,广告行业发生了颠覆性的变革,从传统的广播、电视广告逐渐转向能够实现精准投放的互联网广告。点击率预测是互联网广告实现精准投放的关键,与用户体验的满意度以及广告商的经济收益息息相关,因此得到了业界研究者们的高度关注。目前,基于深度学习的点击率预测模型研究已成为该领域的主流趋势,已有的研究虽然取得了较好的成果,但仍存在以下不足:（1）深度模型通常采用三层或四层的前馈神经网络来探索高阶特征交互信息,但随着网络层数的增加会出现梯度消失、退化等问题,从而限制模型性能的提升;（2）用户兴趣是提高点击率预测性能的关键,现有模型通常采用LSTM、GRU等门控神经网络来提取用户历史行为序列数据中潜在的用户兴趣,但这些网络存在序列依赖关系,无法实现并行化处理,因此模型训练效率低;（3）用户兴趣会随着内外部因素的变化而发生转移,而用户兴趣的变化过程直接影响用户后续的行为,但现有深度模型较少考虑用户兴趣变化对点击率的影响。针对问题（1）,本文利用内积与哈达玛积的混合积交互方式探索低阶的组合特征信息,并将门控机制引入残差网络中,分别设计了密集门控残差网络和跳跃门控残差网络以缓解前馈神经网络存在的问题,在此基础上构建相应的门控残差网络模型。为了进一步增强模型探索特征交互信息的能力,本文利用门控策略自适应地融合这两个门控残差网络模型,构建了门控残差网络融合模型。在Ipinyou数据集上进行的数值实验结果表明本文所提出模型的预测性能均优于现有主流预测模型。针对问题（2）和问题（3）,本文提出了基于用户行为序列的分层注意力预测模型。该模型首先构建了一种具有辅助损失函数监督的Transformer网络来提取用户历史行为序列数据中潜在的用户兴趣,旨在提高模型的训练效率以及捕捉更有效的用户兴趣。在此基础上,本文结合注意力机制的局部激活特性以及最小门控单元（MGU）的序列建模特性,构建了一种带有注意力输入的最小门控单元（AIMGU）来激活与目标广告相关的兴趣并建模用户兴趣的演化,从而获得更精准的用户兴趣特征。最后,本文将用户兴趣特征与广告等其它特征进行拼接,分别输入密集门控残差网络和跳跃门控残差网络中进一步探索高阶特征交互信息。在Amazon数据集上进行的数值实验验证了本文所提出模型的优越性。

关键词：点击率预测互联网广告最小门控单元 Transformer网络残差网络

基于GBDT和注意力机制的广告点击率预测的研究与应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于GBDT和注意力机制的广告点击率预测的研究与应用

作者：郑镇庆南昌大学

学位级别：硕士

计算广告的核心问题——点击率预测,指的是预测用户是否会对某个广告产生点击行为,既是互联网企业盈利的关键一环,也是工业界和学术界的重点研究方向。同时,随着深度学习技术的发展,许多研究机构也开始将深度学习技术应用在点击率预测... 详细信息

计算广告的核心问题——点击率预测,指的是预测用户是否会对某个广告产生点击行为,既是互联网企业盈利的关键一环,也是工业界和学术界的重点研究方向。同时,随着深度学习技术的发展,许多研究机构也开始将深度学习技术应用在点击率预测模型中。本文通过对现有的点击率预估模型进行深入的研究和总结,发现无论是传统的机器学习模型还是深度学习模型,在特征交互上都存在一定的不足,尤其缺乏对不同特征重要性的考虑。针对上述问题,本文创新地提出一种融合了GBDT、Deep FM、注意力机制的模型,即GBDT-Deep AFM模型。通过现有的真实广告点击率数据,对模型的效果进行了验证,本文的主要工作展开如下:(1)本文对使用的数据集进行了数据探索与特征工程,图表分析了数据集的特点以及部分特征的统计情况,并在业务理解的基础上,对数据集进行了衍生特征构造和统计型特征构造。(2)针对现有模型在特征交互上缺乏对特征重要性的考量,本文提出了GBDT-Deep AFM模型,模型在Deep FM模型的基础上加入注意力机制,使模型能够考虑到不同特征对模型预测结果的影响程度不同,同时又加入了GBDT模型,最终模型可以结合各个子模型的优点,更好地挖掘数据中的深层次信息。通过设计并实现离线实验,结果表明GBDT-Deep AFM模型的在AUC和Logloss都有较好的表现,具有良好的学习和泛化能力,在数据集上有较好的预测结果。(3)最后根据GBDT-DeepAFM模型,设计并实现了一个商品推荐系统,即将模型进行了应用,又利用系统更加直观的展示了模型的推荐效果。

关键词：点击率预测 GBDT 注意力机制 DeepFM 数据挖掘

基于不同特征交互注意力机制的点击率预测算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于不同特征交互注意力机制的点击率预测算法研究

作者：李金金郑州大学

学位级别：硕士

大数据时代,互联网平台拥有着非常多用户的历史行为数据及点击日志,平台对数据进行合理充分地利用,实现个性化精准推荐,此做法对提高用户体验与增加平台收益来说意义重大。点击率预测是在线广告及个性化精准推荐的一个重要环节,如何精... 详细信息

大数据时代,互联网平台拥有着非常多用户的历史行为数据及点击日志,平台对数据进行合理充分地利用,实现个性化精准推荐,此做法对提高用户体验与增加平台收益来说意义重大。点击率预测是在线广告及个性化精准推荐的一个重要环节,如何精确预测点击率从而进行广告信息排序是一个很重要的研究内容。点击率预测问题中,高效学习交互特征是提升模型预测能力的关键,本文即基于特征交互并结合注意力机制进行点击率预测算法研究,提出了一种新的预测模型来提高预测的准确性。主要内容如下:首先,本文详细梳理并分析了特征交互相关的浅层与深层点击率预测模型以及注意力机制相关的点击率预估模型的研究成果,介绍了模型的发展规律。其次,从传统模型存在的低阶连续特征交互不充分与组合特征表达受限问题入手,以Deep FM模型为基础框架,创新性的将梯度提升树(Gradient Boosting Decision Tree,GBDT)与注意力机制同时引入其中,提出了一种新的基于不同特征交互注意力机制的点击率预估模型。该模型不仅能够充分挖掘特征的低阶交互与高阶交互信息、增强组合特征的表达,而且同时满足记忆与泛化功能,无需人工特征工程。GBDT将连续特征离散化,充分发掘原始连续特征信息,实现了模型对低阶连续特征和低阶离散特征的交互,注意力机制能够高效的将特征交叉之间的关系及重要程度表达出来,解决了传统模型组合特征表达受限这一不足。最后,在两个数据集上设计了两组实验,一是基准模型对比实验,结果显示本文模型预测效果优于先进的基准模型。二是消融实验,验证了同时加入的GBDT与注意力机制两个子模块都对模型性能提升起到了促进作用。两组实验结果证明了本文提出的新模型可以切实有效的提升点击率预测准确性,证明了本研究的价值。

关键词：点击率预测因子分解机深度学习梯度提升树注意力机制

基于通道注意力与多粒度特征融合的点击率预测方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于通道注意力与多粒度特征融合的点击率预测方法研究

作者：蒋兴渝重庆理工大学

学位级别：硕士

随着互联网发展如火如荼,满足各类商业要求的在线广告不断涌现,与之相关的数据呈现爆炸式增长态势。为应对庞大数据中的信息过载问题,利用物品信息、用户画像和历史记录等数据,对不同用户进行个性化推荐的点击率预测技术应运而生。有关... 详细信息

随着互联网发展如火如荼,满足各类商业要求的在线广告不断涌现,与之相关的数据呈现爆炸式增长态势。为应对庞大数据中的信息过载问题,利用物品信息、用户画像和历史记录等数据,对不同用户进行个性化推荐的点击率预测技术应运而生。有关点击率预测的研究,在挖掘用户兴趣、强化宣传效果、优化广告投放成本等方面具有重要的理论与实际价值。然而最近的研究表明,目前主流的点击率预测方法仍存在数据稀疏、特征粒度单一以及特征挖掘不充分等问题。在近年来深度学习浪潮的影响下,利用深度学习发现并挖掘数据中隐藏的特征及组合已经成为点击率预测领域流行的研究趋势。深度学习中的特征粒度分析和通道注意力机制,能够构建更为接近实际复杂数据的拟合函数,在多种维度上对特征进行抽象学习。在深入研究现有点击率预测方法后,该文针对目前点击率预测方法存在的不足,基于通道注意力与多粒度特征融合的点击率预测方法进行研究。分别从双线性积多粒度数据特征表示学习、重要特征及交互信息挖掘和融合动态通道注意力三个方面对研究进行展开,主要工作体现在:(1)提出了一种基于双线性积的多粒度点击率预测方法从特征对点击率预测的影响而言,细粒度的特征表示方式能够保留更多有效信息,为点击率预测提供帮助。但过于细粒度的信息在后期输入神经网络计算时,也会带来计算量的增加以及网络模型学习到更多噪声的可能。而粗粒度的特征表示方式虽然节省了计算量,但在计算过程中以信息丢失为代价会影响模型预测点击率的准确性。因此提出一种基于双线性积的多粒度点击率预测方法,目的是通过从两种不同的粒度学习特征,构建出对特征认识更为丰富的模型。该方法所用的双线性特征积方式,针对广告数据的特点,利用了神经网络学习能力,能够有效地使数据潜在信息得以保留,且该方法无需预训练,而是对嵌入向量建立双线性积操作层拟合多粒度的数据特征。通过多组实验证明,基于该方法建立的模型在准确率和损失等方面都得到了提升和优化。(2)提出了一种基于重要特征及交互信息挖掘的点击率预测方法上述方法能够较好地保留特征中的有效信息,确保拟合结果中尽可能多地包含对用户兴趣具有贡献的数据特征,但是不同特征对点击率预测的贡献度有一定差异。因此,为了更好地挖掘重要特征及交互信息,提出了一种基于通道注意力及交互信息挖掘的点击率预测方法。该方法自适应地实现了对于预测贡献较大的特征和交互信息赋予更大的权重,对于结果贡献较小的则赋予较小的权重,使其能够从众多特征及交互信息中挖掘出重要信息。通过在两个大规模广告数据集上的实验结果比较,发现基于该方法构建的模型能够很好地探索出对推荐结果有重要贡献的数据,证明该方法能够有效提高点击率预测准确性。(3)提出了一种融合动态通道注意力的点击率预测方法之前的方法在通道注意力使用上存在维度压缩的问题,没有考虑使用局部跨通道交互策略,在维持维度的条件下挖掘重要特征并保留有效信息。此外,未能使多粒度特征中的丰富信息用于结果预测,在预测结果泛化多样性上仍有提升空间。因此,提出了一种融合动态通道注意力的点击率预测方法,该方法利用一维卷积有效地挖掘数据中的重要特征,并且通过一种自适应选择的一维卷积核保证了在不过度增加模型复杂性的同时提升模型预测的准确性。该方法通过动态通道注意力对软嵌入层输出的数据进行重要特征挖掘,同时,还利用残差特征交互保留了低阶特征中的隐藏信息。最后将动态通道注意力网络输出的动态通道注意力特征和残差特征通过双线性交互后进行融合,并把融合特征送入隐藏门控残差网络拟合其高阶特征,输出点击率预测结果。通过分析实验数据及结果可以发现,依照该方法设置的模型与现有的流行点击率预测模型相比,有着更优的预测结果。

关键词：点击率预测推荐系统通道注意力深度学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的点击率预测模型研究

基于深度学习的点击率预测模型研究

作者：吴明西南大学

学位级别：硕士

互联网时代的来临在为人们提供各种各样便利服务的同时,也产生了海量数据,使得人们不得不面临如何从海量信息中高效搜寻感兴趣内容的问题。推荐系统的出现为缓解这一问题提供了有效的解决方式,而点击率预测任务往往是推荐系统中必不可... 详细信息

互联网时代的来临在为人们提供各种各样便利服务的同时,也产生了海量数据,使得人们不得不面临如何从海量信息中高效搜寻感兴趣内容的问题。推荐系统的出现为缓解这一问题提供了有效的解决方式,而点击率预测任务往往是推荐系统中必不可少的一环。尤其是在现代电子商务和在线广告中,为了增加企业收入和提升用户体验,点击率预测一直是其中最重要任务之一。在电子商务系统中用户通常拥有点击,收藏,购买等多种行为,而点击则是这所有行为的基础。在线广告中,广告展示需要根据单次展示收益排序,而该指标则由广告竞价和预测点击率的乘积得出。因此,点击率预测研究引起了学术界和工业界的强烈关注。然而,目前基于深度学习的各种点击率预测算法基本从两方面展开研究。一方面,基于特征交互的点击率预测算法虽然能通过高效的捕获特征高阶交互信息,进而使点击率预测更加准确。但这类模型往往不加区分特征中的交互信息和独立信息,仅采用一个特征向量进行建模,未能精细刻画特征中的交互信息和独立信息不同占比,进而使得学习到的特征表示向量质量不高,限制了模型性能。另一方面,基于行为序列的点击率预测通过挖掘历史序列中蕴含的用户兴趣来建模点击率预测任务。但这类模型往往对行为序列数据挖掘不足,使得捕获到的用户兴趣比较单一,而真实世界中用户在同一时刻往往有着多种不同兴趣,因此有必要充分挖掘历史行为中的各种兴趣模式来提升用户体验和预测准确性。针对上述问题,本文工作总结如下:首先,针对基于特征交互的点击率预测算法未能高质量学习特征向量表示,进而影响模型性能的问题。提出了特征交互精炼网络FIRN,FIRN首先设计了混合专家网络来提取每个特征中的交互信息和独立信息。接下来,一方面通过自注意力机制来自适应的显式建模交互信息的高阶组合,另一方面设计了融合门控单元以自适应的加权交互信息和独立信息以获得变换后的特征向量表示。最后,为了尽可能的扩展特征语义,引入扩展门控单元来自适应聚合原始特征向量和变换后的特征向量,解决了特征自适应语义分配的问题,实现了特征表示向量的高质量学习,为后续模型预测层提供了高质量的特征表示输入,取得了更佳的预测性能表现。其次,针对基于行为序列的点击率预测算法对行为序列数据挖掘不足、捕获用户兴趣较为单一的问题。本文提出了用户行为兴趣网络UBIN来关注用户行为序列中两种不同的兴趣模式。在UBIN中,时间感知的注意力网络和GRU分别来捕捉目标用户对候选物品的综合兴趣和自身动态演化的当前兴趣。并且,设计了三元辅助损失来监督当前兴趣的学习,以提升其表示学习的质量。此外,在UBIN的基础上,为了捕获到物品行为中蕴含的用户兴趣模式,本文还引入了物品行为兴趣网络IBIN与UBIN联合学习,提出了深度多兴趣网络DMN。在DMN中,连接UBIN输出的综合兴趣和当前兴趣作为查询,输入到IBIN中利用自注意力机制建模目标用户兴趣与已点击候选物品的用户间的用户-用户兴趣,捕获了用户间的协同过滤信息。同时,通过注意力机制聚合候选物品的被点击时间,刻画出了当前时刻候选物品的流行度,以此反映用户对热门物品的独特偏好。最后,DMN输出层利用这些多种不同兴趣表示作为输入,极大的丰富了模型表达能力,提升了模型预测性能。最后,基于真实世界的点击率预测任务常用数据集,本文分析了所提方法有效性的原因,并将所提出方法与各种先进算法进行对比实验,实验结果验证了在点击率预测任务上本文方法的有效性和先进性。

关键词：推荐系统点击率预测特征交互行为序列深度学习

基于特征组合学习与注意力机制的点击率预测研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于特征组合学习与注意力机制的点击率预测研究

作者：许广鑫华东交通大学

学位级别：硕士

点击率用于预测用户对广告和商品的点击概率,点击率预测对于网络业务平台具有重要价值。随着传统数字广告逐渐向移动数字广告转变,数字广告对经济发展起到了至关重要的推动作用。数字广告的精准推荐或排序可提升用户体验。更重要的是,... 详细信息

点击率用于预测用户对广告和商品的点击概率,点击率预测对于网络业务平台具有重要价值。随着传统数字广告逐渐向移动数字广告转变,数字广告对经济发展起到了至关重要的推动作用。数字广告的精准推荐或排序可提升用户体验。更重要的是,它可带来巨大的经济和社会效益。因此,点击率预测已成为近年来学术界和工业界共同关注的研究热点。但点击率预测的研究目前仍然存在数据离散、特征交互简单、缺乏可解释性、未充分利用特征域之间相关性等问题。为此,本文分别从低阶特征细化、多头自注意力、域对对称矩阵、联合显式构建高阶特征和隐式构建高阶特征等角度展开递进式研究。主要研究工作如下:(1)基于交叉网络的深度域因子分解机模型(Cross network and deep field factorization machine,Cross&Deep FFM):针对特征交互强度不足的问题提出基于交叉网络的深度域因子分解机,首先对输入层数据执行嵌入方法生成嵌入向量。然后,通过域因子分解机学习不同特征域之间的隐藏信息,以进行低阶特征交互。接着,将学习到的低阶特征输入深度神经网络隐式学习高阶特征,同时设计交叉网络显式构建高阶特征,将两者的输出拼接,形成互补,得到最终预测值。实验结果表明:在输入深度神经网络之前进行低阶特征交互以及联合显式学习高阶特征与隐式学习高阶特征对性能的提升是有效的。(2)联合低阶特征细化和增强交互的点击率预测模型(Senet and extreme deep field-embedded factorization machine,Se-x Deep FEFM):Cross&Deep FFM模型能够进行低阶特征交互,为DNN提供更有价值的特征。但它未考虑对原始嵌入向量进行细化。此外,交叉网络是基于元素位级别的特征交互,会影响特征学习的质量。故在Cross&Deep FFM基础上提出Se-x Deep FEFM模型,首先,将压缩激励网络模块嵌入Sex Deep FEFM中,以完成低阶特征细化,更好地过滤噪声信息。然后,实现场嵌入因子分解机,通过域对对称矩阵评估不同特征域之间交互强度。最后,设计一个压缩交互网络,通过向量级的交互实现了具有确定阶数的特征构建。联合深度神经网络和压缩交互网络实现有效且互补的显式和隐式特征交互。实验结果表明,Se-xDeepFEFM模型优于主流基线。更重要的是,Se-x Deep FEFM模型的变体也实现了具有竞争力的预测性能,证明了其可扩展性。(3)基于自注意力深度域嵌入因子分解机模型(Self-Attention Deep Field-Embedded Factorization Machine,Self-At DFEFM):Se-x Deep FEFM模型的预测性能虽有提升,但压缩交互网络并未挖掘每个特征和其他特征之间的关系,构建的高阶组合特征缺少权重信息。故在Se-x Deep FEFM模型的基础上提出Self-At DFEFM模型,将多头自注意力机制引入其中,它不仅能够对原始嵌入向量细化,还能以多次堆叠方式并配合残差机制,使得每个特征都包含其他特征的带权信息,实现更优的显式高阶特征学习,提升高阶特征组合判别性。实验结果表明:Self-At DFEFM及其变种的性能均优于Fi Bi NET、Deep FEFM、Auto Int、Se-x Deep FEFM等主流模型,模型是有效且鲁棒的。此外,SelfAt DFEFM各模块即插即用,模型易于构建和部署,具备较高实用性及可扩展性。

关键词：点击率预测多头自注意力域嵌入因子分解机残差机制特征交互压缩激励网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的点击率预测模型研究与应用

基于深度学习的点击率预测模型研究与应用

作者：潘宁兰州大学

学位级别：硕士

点击率指的是用户点击系统推荐的广告信息的实际次数与浏览次数之比。随着深度学习的发展,点击率预测模型性能显著提高,但仍面临以下问题:提取有效交叉特征困难,无法有效的对重要特征进行区分;同时有效学习高低阶交叉特征困难;在样本处... 详细信息

点击率指的是用户点击系统推荐的广告信息的实际次数与浏览次数之比。随着深度学习的发展,点击率预测模型性能显著提高,但仍面临以下问题:提取有效交叉特征困难,无法有效的对重要特征进行区分;同时有效学习高低阶交叉特征困难;在样本处理过程中,传统的样本感知模型无法有效利用特征交互信息。针对上述问题,本文主要研究内容如下:(1)针对特征交叉提取难度大与无法对重要特征进行区分的问题,本文提出了一个基于FGCNN与SENet的Merge模块。该模块利用FGCNN对Embedding特征向量进行交叉特征挖掘及提取,并自动生成新的特征向量。SENet对新特征向量进行重要度分析,强化重要度高的低频特征以及中高频特征。最后得到重要度加权的新特征向量。(2)为了能有效捕捉到特征向量中的高低阶交叉特征项,本文提出了一种基于Merge模块与多头自注意力机制网络融合的点击率预测模型MMSA。该模型利用Merge模块提取有效特征,因子分解机学习低阶交互特征项,使用多头自注意力机制网络与深度神经网络并行的结构学习显式与隐式高阶交叉特征信息,达到同时有效学习高低阶交叉特征的目的。(3)针对样本感知的模型中无法有效利用特征交互信息问题,本文提出了基于Merge模块与双重样本感知机融合的点击率预测模型MDIFM。该模型将Merge模块加入到双重样本感知机中bit-wise部分,起到提取有效特征丰富信息的作用,减少深度神经网络学习高阶特征难度,达到提高bit-wise部分学习能力的目的。(4)本文提出的两个点击率预测模型在两个公共广告数据集上进行验证,且对Merge模块进行相容性实验验证,实验结果表明:相较于传统模型,本文提出的点击率预测模型均发挥出了较好的预测性能,Merge模块具备也良好的相容性。(5)设计并开发了一个基于本文所提模型的个性化电影推荐系统,根据相关技术在实际系统中的应用,验证了所开发系统的有效性和实用性。

关键词：点击率预测深度学习注意力机制推荐系统