检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于注意力机制的点击率预测模型研究

基于注意力机制的点击率预测模型研究

作者：王畅然浙江大学

学位级别：硕士

作为推荐系统、在线广告等领域的核心研究方向,点击率预测受到了学术界和工业界的广泛关注。近年来,随着深度学习技术的火热,许多的互联网公司和相关研究机构在将深度学习和传统点击率预测模型相结合的方向上做出了一系列的优秀研究成... 详细信息

作为推荐系统、在线广告等领域的核心研究方向,点击率预测受到了学术界和工业界的广泛关注。近年来,随着深度学习技术的火热,许多的互联网公司和相关研究机构在将深度学习和传统点击率预测模型相结合的方向上做出了一系列的优秀研究成果。本文通过对已有的点击率预测模型进行总结和分析,发现大多数模型在交叉特征提取机制上存在着缺陷与不足,尤其是没有考虑到特征之间相关性信息和重要性权重的挖掘。针对上述问题,本文根据点击率预测的数据特点,在自然语言处理领域广泛应用的自注意力机制、层次注意力机制等基础上,创新性地提出了一种可以高效挖掘特征之间相关性的多态注意力机制。而后结合推荐系统、自然语言处理等领域的模型结构,本文基于多态注意力机制提出了可以显式构造交叉特征的多态注意力网络。同时基于推荐系统领域的宽度和深度联合学习模型的设计思路,巧妙地结合多态注意力机制和自注意力机制的优点,本文又提出了一种多态自注意力网络模型。并且在此基础上引入深度神经网络分别构建了两种深度点击率预测模型。本文提出的模型经过在多种数据集上进行对比实验验证,在模型性能、计算开销、可解释性等方面具有一定的优越性。实验结果表明,本文提出的点击率预测模型在性能表现上相较于其他对照模型均有明显的领先;在计算开销方面,本文提出的模型在实现较好性能表现的情况下参数量更少,运行速度更快,整体计算效率相较于对照模型有很大的提升;并且本文模型可解释性更好,适合实际的生产环境。

关键词：点击率预测深度学习注意力机制

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于注意力机制的用户点击率预测方法研究

基于注意力机制的用户点击率预测方法研究

作者：陈一洲东华大学

学位级别：硕士

点击率预测一直是在线广告和产品推荐领域中非常受欢迎的问题,点击率的小幅增长可以带来可观的利润回报。近年来,由于机器学习和人工智能技术在自然语言处理及计算机视觉等众多领域中取得了令人瞩目的成绩,各研究机构和互联网企业纷纷... 详细信息

点击率预测一直是在线广告和产品推荐领域中非常受欢迎的问题,点击率的小幅增长可以带来可观的利润回报。近年来,由于机器学习和人工智能技术在自然语言处理及计算机视觉等众多领域中取得了令人瞩目的成绩,各研究机构和互联网企业纷纷将相关知识应用于点击率预测问题,并为此做了许多研究和探索,取得了诸多出众的成果。本文通过综述近年来点击率预测相关的论文发现:点击率预测的准确性主要受到数据特征规模大、维度高和稀疏性等因素的影响,如何有效地从这些特征中获取有用信息成为问题解决的关键所在。同时,在对用户行为序列特征的利用上还有很大的提升空间,如何从行为序列中挖掘出用户的兴趣,是很多研究人员关注的重点。本文将采用基于注意力机制的点击率预测研究方法,着重探讨特征交互和用户时序行为对于点击率预测的影响。论文主要工作以及成果如下:（1）点击率预测方法和模型综述。对近年来在各个场景中应用较为广泛的点击率预测模型进行归纳分析,并对各个模型的基础模型和结构特点进行分类总结,特别是对具有代表性的模型的框架原理进行了全方面地阐述。并在此基础上,对不同的注意力机制进行了详细地列举。（2）使用注意力网络作为核心优化方向,提出基于因子分解机和注意力网络的多阶特征交互模型MoFM。该模型能够充分挖掘特征的高阶交互信息,同时结合因子分解机来挖掘特征的低阶交互,囊括了传统机器学习和深度学习的优势。通过在三个公开数据集上进行的实验结果证明,该模型在AUC和Logloss两项评估指标下都优于现有的同类型模型。（3）在MoFM模型的基础上,以捕捉用户行为序列为优化方向,提出结合特征交互和行为序列的联合点击率预测框架。Joint CTR框架集成了四种类型的预测模型,每种模型都学习不同类型的特征,包括原始特征、二阶嵌入特征、高阶交互特征和序列特征。Joint CTR框架具有良好的灵活性和可伸缩性,可以根据实际应用需求（例如切割模型或替换相同类型的模型）调整框架中的模块。为了提升高阶特征学习准确率,采用在MoFM模型框架中提出的基于注意力机制的高阶特征学习模型Horder CTR,建立了一个带有残差连接的多头自我注意网络,以自动识别高价值的高阶特征组合。为了对行为序列进行学习,在文中提出序列特征学习模型Seq CTR。该模型基于门控循环单元（GRU）和带有注意更新门的AUGRU,在两者之间添加了注意力层,以获取一系列行为中更重要的时间点。（4）使用四个不同领域的公开数据集来验证所提出的模型框架。实验结果证明,Joint CTR模型在AUC和logloss两项评估指标下都优于现有的同类模型。Joint CTR框架不仅具有更优的性能,同时也具有很强的灵活性和可拓展性,通过组件裁剪和同类模型替换等操作以满足不同的业务需求。

关键词：点击率预测注意力机制用户行为序列因子分解机深度学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于贝叶斯网的广告点击率预测方法及实现

基于贝叶斯网的广告点击率预测方法及实现

作者：王朝禄云南大学

学位级别：硕士

随着互联网产业的发展,互联网广告逐渐成为推动互联网产业健康良性发展的重要力量,点击率(CTR, Click-Through Rate)预测为广告的精确化投放提供了依据,而且可以提高用户对所展示的广告的满意度,促使用户点击自己最感兴趣的广告,不仅提... 详细信息

随着互联网产业的发展,互联网广告逐渐成为推动互联网产业健康良性发展的重要力量,点击率(CTR, Click-Through Rate)预测为广告的精确化投放提供了依据,而且可以提高用户对所展示的广告的满意度,促使用户点击自己最感兴趣的广告,不仅提高了广告主和广告媒介的收入,而且推动了第三方付费模式的发展,促进了互联网产业的发展。考虑到广告投放的精确化和个性化的要求,.需要针对用户进行广告的精准化推荐,然而对于没有历史记录的用户,仍需为其推荐广告并预测所推荐广告的点击率,是计算广告领域研究的关键问题之一。本文以从用户历史数据中发现用户行为的相似性为切入点,基于发现的用户间的相似关系,为缺少数据的用户预测CTR。由于用户的行为具有不确定性,需要一种框架来表达用户行为中的不确定性,因此本文以贝叶斯网(BN, Bayesian Network)这一重要的概率图模型作为发现用户行为相似性的模型中不确定性知识表达和推理的基本框架,通过分析用户历史数据来构建贝叶斯网,反映用户间的直接相似关系及相似关系的不确定性,进而基于贝叶斯网的推理机制挖掘用户间的间接相似关系,从而为没有历史点击记录的用户预测其对广告的点击率。本文的主要工作及贡献可概括如下： ■为了构建反映用户间在广告搜索行为方面相似关系的模型,称为相似贝叶斯网(SBN, Similarity Bayesian Network),本文针对SBN有向无环图(DAG, Directed Acyclic Graph)结构构建这一关键和难点,通过对用户搜索广告的历史记录进行统计计算,给出构建网络结构的方法,进而发现直接相似用户。 ■利用贝叶斯的概率推理机制,给出基于Gibbs采样算法的SBN推理,高效地发现SBN中的具有间接相似关系的用户。进而利用用户间的这种相似关系,给出预测CTR的算法。 ■通过建立在KDD Cup2012Track2的训练数据集上的实验,测试了方法的有效性,并设计开发了基于本文方法的“基于贝叶斯网的精确化广告投放仿真软件”。

关键词：互联网广告点击率预测概率图模型贝叶斯网近似推理

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

搜索广告点击率预测中的冷启动问题研究

搜索广告点击率预测中的冷启动问题研究

作者：邓丽芳哈尔滨工业大学

学位级别：硕士

在线广告依托大数据的背景,作为一种新的广告形式应运而生,其中搜索广告占据整个在线广告市场的一半以上,而广告点击率预测则是关乎广告收入的关键技术。对于广告系统而言,每天都有大量的广告进入广告库,对于展示次数丰富的老广告,可以... 详细信息

在线广告依托大数据的背景,作为一种新的广告形式应运而生,其中搜索广告占据整个在线广告市场的一半以上,而广告点击率预测则是关乎广告收入的关键技术。对于广告系统而言,每天都有大量的广告进入广告库,对于展示次数丰富的老广告,可以利用充足的统计信息计算广告点击率,但对于刚刚进入广告库,缺乏足够展现次数的新广告和稀疏广告来说,则存在严重的冷启动(Cold Start)问题。广告点击率预测中的冷启动问题是指对于刚刚进入广告库的新广告和稀疏广告而言,由于缺乏足够的广告点击日志数据从而无法实现广告点击率的有效预测。本文以研究搜索广告中的冷启动问题为目标,具体包含以下三方面的研究内容。第一,广告大数据的处理。广告的日志数据十分庞大且复杂,因此,本文首先详细分析了广告日志中各个字段的具体含义,在此基础上,对数据进行了统计分析和预处理,把握数据的整体分布情况,减弱一些无关的噪声数据对数据总体性能的影响。最后详细介绍了针对搜索广告冷启动问题使用的评价指标及相应算法。第二,高表现力特征的提取。当广告展现次数少时,新广告和稀疏广告的点击数据表现出的特性不太稳定,一些专门针对新广告和稀疏广告的点击率预测方法主要集中在浅层的基本特征上,并没有深入挖掘一些潜在的、抽象的信息。因此,针对新广告和稀疏广告统计数据不足的特点,我们提出了基于token的点击图特征,同时为了弥补人工经验进行特征组合的不足,我们在基本特征的基础上通过GBDT(Gradient Boost Decision Tree)模型生成了表现力更强的新特征。实验结果表明,我们提取的特征不仅能提高新广告和稀疏广告的点击率预测效果,同时也能改善老广告的点击率预测效果,很好的解决了搜索广告中的冷启动问题。第三,在线更新算法的研究。受时间和硬件的限制,传统的批量(batch)算法处理海量数据耗时且耗内存,因此本文使用了基于在线更新算法的模型进行点击率预测,并利用了Adaboost框架进行模型的融合。实验表明,在数据量大且数据稀疏的情况下预测模型依然有优秀的性能表现。

关键词：点击率预测搜索广告冷启动点击图在线学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度神经网络的点击率预测模型研究

基于深度神经网络的点击率预测模型研究

作者：甄承昌天津大学

学位级别：硕士

针对互联网快速发展导致的信息过载问题,已有众多专家和学者提出了很多有效的解决方案,其中最成功的就是推荐系统。点击率预测一直是推荐系统中一项关键的任务,它可以为用户提供准确的推荐提高用户体验。在推荐系统中线性回归模型和因... 详细信息

针对互联网快速发展导致的信息过载问题,已有众多专家和学者提出了很多有效的解决方案,其中最成功的就是推荐系统。点击率预测一直是推荐系统中一项关键的任务,它可以为用户提供准确的推荐提高用户体验。在推荐系统中线性回归模型和因子分解机模型的应用最为广泛。但是由于这两者都存在一定的不足之处,所以已经有很多研究者进行了改进。在点击率预测任务中,如何能够准确地提取用户特征组合信息显得尤为重要。由于注意力机制在自然语言处理和计算机视觉任务中的应用都取得了非常不错的效果,研究者们也开始将注意力机制引入到点击率预测领域中来更加准确地获得特征交互组合信息,可以通过利用多层注意力机制模块来显式地提取不同阶特征组合。另外,卷积神经网络一直是图像特征提取的有效手段,将卷积神经网络应用到点击率预测领域中来进行特征提取也是有效的方法。论文通过自注意力机制来显式地构建多阶特征交互信息并分别利用SENet和SKNet模型自动学习各个阶次特征信息的重要性来更加准确地提取高阶特征组合信息。同时,论文还提出了特征增强网络并将其作为增强点击率预测复杂模型的方法。在基于知识图谱的点击率预测模型中将尾实体集合当做图像数据。利用卷积神经网络进行特征提取并通过使用不同大小的卷积核来捕获不同感受野下的特征信息,并将融合了多种感受野信息的特征向量通过全连接神经网络来重建尾实体特征。

关键词：推荐系统点击率预测注意力机制特征交互信息

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

互联网广告点击率预测模型的研究

互联网广告点击率预测模型的研究

作者：张媛郑州大学

学位级别：硕士

随着互联网的日益壮大与电子商务的不断发展,计算广告学,作为一门新兴的学科交汇科学,受到了广泛关注。计算广告学涉及到诸多学科的理论和技术,包括广告学、信息检索、文本分析、统计模型、机器学习及微观经济学等。计算广告旨在向特定... 详细信息

随着互联网的日益壮大与电子商务的不断发展,计算广告学,作为一门新兴的学科交汇科学,受到了广泛关注。计算广告学涉及到诸多学科的理论和技术,包括广告学、信息检索、文本分析、统计模型、机器学习及微观经济学等。计算广告旨在向特定的观众群体做广告,并且一直是新兴互联网应用领域的热点问题。在线广告的点击率预估(Click-Through-Rate Prediction,简称CTR Prediction)问题作为计算广告领域的核心问题,对互联网广告应用起着至关重要的作用。点击率预估通常用来判断一条广告被用户点击的概率,对每次广告的点击做出预测,把用户最有可能点击的广告找出来,是广告技术最重要的算法之一。广告点击率关系着广告投放的排序和点击收费等因素,良好的点击率预估模型可以为广告平台提高平台收益,为广告主的产品和预算带来优化,为用户带来更好的广告体验。现代的互联网广告主要分为搜索广告和展示广告,其中搜索广告是规模最大,增长最快的广告形式,搜索广告的点击率与广告投放顺序、点击费用等相关,这对整个搜索广告的收入起着至关重要的作用。以搜索广告为例,本文利用了Light GBM框架对点击率预测,相对传统的机器学习算法(如XGBoost),Light GBM具有更快的训练速度,可处理大规模数据集,占用更低的内存等优点,从海量数据出发,本文系统研究了数据预处理、特征选择和集成模型等相关理论和技术。根据常见的广告点击率预测模型,本文主要研究了其中几个模型,主要改进的方面是特征提取和模型改进,集成了几个单模型的优点,充分挖掘线性和非线性特征,提出一种集成模型,从而提出了更好的点击率预测解决方案。论文完成的主要工作概括如下:(1)数据的分析和处理。在已有的数据集上对数据进行分析和预处理,从统计分析的角度分析了样本的差异性、分布性等,对缺失值数据进行分析处理。(2)特征的处理。删除不相关或冗余的特征,基于原始数据集构造人工特征,对类别特征进行独热编码(One-Hot Encoding),测试了人工特征在多种模型下的效果,验证了所构造的人工特征的有效性。(3)模型的处理。本文实现了传统的逻辑回归(Logisitic Regression)模型和时下流行的几种机器学习算法(如LR,FM,FFM,RF)方法对点击率进行预测,并基于以上模型,提出了一种融合集成学习的广告点击率预测模型,实验结果证明了该模型的有效性。

关键词：点击率预测 LightGBM框架人工特征特征选择集成模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的搜索广告点击率预测方法研究

基于深度学习的搜索广告点击率预测方法研究

作者：李思琴哈尔滨工业大学

学位级别：硕士

随着互联网技术的飞速发展,海量数据背景下的网络营销方式越来越受青睐。在线广告作为新的广告形式应运而生,展现出了巨大的市场潜力和商业价值,搜索广告是规模最大,增长最快的在线广告形式,它根据用户搜索的内容投放相关的广告,如今已... 详细信息

随着互联网技术的飞速发展,海量数据背景下的网络营销方式越来越受青睐。在线广告作为新的广告形式应运而生,展现出了巨大的市场潜力和商业价值,搜索广告是规模最大,增长最快的在线广告形式,它根据用户搜索的内容投放相关的广告,如今已经成为互联网行业的主要收入来源之一。搜索广告背后最为关键的技术是广告点击率的预测,它不但关系到广告投放的排名,也影响着广告点击的收费。因此,如何有效的利用海量历史数据对搜索广告的点击率进行预测是一项非常有意义的工作。目前已有的工作大多基于浅层模型进行搜索广告的点击率预测,浅层模型在特征学习方面是直接使用统计学习方法计算得到的特征,特征中每一维的含义固定并且孤立,不能表达内部之间的关系。本文研究的目标是通过给定的信息预测搜索广告的点击率,通过使用深度学习模型,挖掘更多的特征之间的关系,从而能更有效的提高预测的结果。具体地,本文主要包含如下三方面的研究内容。第一、本文从搜索广告点击率预测的定义出发,分析了数据集的数据的分布和特点并对数据集进行了预处理,在此基础上,本文根据对搜索广告的认识和在实际应用中的特性,提取了六类不同的特征。其次,针对深度学习在搜索广告点击率预测应用中的训练耗时和内存限制,本文设计了一种基于GPU计算的分块实现方案。第二、本文首先使用了朴素贝叶斯模型、逻辑斯蒂回归模型和支持向量回归模型等主流方法对点击率进行预测,并分析了他们的不足。进而使用基于深度神经网络模型的搜索广告点击率预测的方法,我们使用dropout方法来降低在训练时过拟合造成的影响。实验结果表明,在特征相同的情况下,本文使用的深度神经网络模型方法能取得比主流方法更好的预测结果。第三、本文提出了面向搜索广告点击率预测的卷积神经网络模型,通过基于局部窗口概念的卷积操作和亚采样操作,完成了从局部到整体的特征学习。在KDD Cup 2012中Track 2数据集上的实验结果表明,本文所使用的基于卷积神经网络的搜索广告点击率预测的方法能有效的提高点击率预测的结果。

关键词：点击率预测搜索广告深度学习深度神经网络卷积神经网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的网络广告点击率预测模型研究

基于深度学习的网络广告点击率预测模型研究

作者：孙慎伟南昌大学

学位级别：硕士

网络广告是互联网行业的主要经济来源之一,随着机器学习和互联网的发展,海量广告信息的有效利用,极大地增加了网络广告的商业价值。在数据时代,广告点击率预测作为广告投放系统的核心技术之一,主要研究海量数据下用户与广告的潜在联系,... 详细信息

网络广告是互联网行业的主要经济来源之一,随着机器学习和互联网的发展,海量广告信息的有效利用,极大地增加了网络广告的商业价值。在数据时代,广告点击率预测作为广告投放系统的核心技术之一,主要研究海量数据下用户与广告的潜在联系,实现广告的精准投放。在广告点击率预测中,数据集通常高度稀疏,传统的方法多基于线性模型,特征之间相互独立,依赖人工特征组合。而自动组合特征的模型又缺乏深层次的高阶非线性特征,并且普通的深度学习模型仍然存在训练难度大,没有考虑到深浅特征融合等问题。本文研究的目标是对给定的数据通过深度学习模型挖掘用户-广告潜在的联系,从而实现更精准的广告点击率预测,具体研究工作如下:(1)本文针对现有模型存在的问题,提出了一种基于广度深度模型改进的栈式自编码因子分解机模型,本模型引入了基于字段的因子分解机和栈式自编码器来分别作为广度和深度部分。和广度部分的逻辑回归相比,因子分解机模块实现了浅层特征的自动组合,避免了大量的人工组合特征的问题。在深度部分,通过栈式自编码器无监督逐层预训练的方式提取了高阶非线性特征,并将训练好的嵌入层参数作为因子分解机模块的初始化权重,在一定程度上加快了模型的收敛速度。最后在模型整体训练时进行有选择性的微调,使模型高效地融合了浅层组合特征和深层高阶非线性特征。通过实验表明,在输入数据一致的情况下,该模型具有更好的预测效果。(2)本文分析了实验数据集的特点和问题,并进行了相应的数据预处理。在此基础上,本文从实际业务出发,构造了历史点击率特征。由于用户日志无法直接加入到训练中,本文按照行为类型和时间段两个方向从行为日志中构造出了用户行为特征。实验表明,这两组特征的加入可以明显提高预测的精度。(3)本文设计实验,分析并确定了栈式自编码器逐层预训练过程中的节点数与隐藏层深度,并对比了不同隐藏层微调层数以及不同超参数对模型效果的影响。最后,本文通过与基线模型的对比实验,验证了本文模型在收敛速度和预测效果上有较明显的提升。

关键词：点击率预测深度学习特征组合自编码器

基于细粒度特征交互选择网络的农产品推荐算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机系统应用 2024年第5期33卷 271-279页

作者：白雪王霞光金继鑫宋春梅赵思彤中国科学院沈阳计算技术研究所沈阳110168 中国科学院大学北京100049 沈阳工业大学沈阳110870

在数字化的时代里,越来越多人偏爱在电商平台购物,随着农产品电商平台的发展,消费者面对众多选择时难以找到适合自己的产品.为了提高用户满意度和购买意愿,农产品电商平台需要根据用户的兴趣偏好向其推荐合适的农产品.考虑到季节、地域... 详细信息

在数字化的时代里,越来越多人偏爱在电商平台购物,随着农产品电商平台的发展,消费者面对众多选择时难以找到适合自己的产品.为了提高用户满意度和购买意愿,农产品电商平台需要根据用户的兴趣偏好向其推荐合适的农产品.考虑到季节、地域、用户兴趣和农产品属性等多种农业特征,通过特征交互可以更好地捕捉用户需求.传统的点击通过率CTR (click through rate)预测模型只关注用户评分,以简单的方式计算特征交互,而忽略了特征交互的重要性.本文提出了一种名为细粒度特征交互选择网络FgFisNet (fine-grained feature interaction selection networks)的新模型.该模型通过引入细粒度交互层和特征交互选择层,组合内积和哈达玛积有效地学习特征交互,然后在训练过程中自动识别重要的特征交互,并删除冗余的特征交互,最后将重要的特征交互和一阶特征输入到深度神经网络,得到最终的CTR预测值.在农产品电商真实数据集上进行广泛的实验,FgFisNet方法取得了显著的经济效益.

关键词：农产品推荐点击率预测特征交互特征选择深度神经网络