检索结果-南通市图书馆

基于Transformer序列建模的离线强化学习方法研究

在线全文

学校读者我要写书评

暂无评论

基于Transformer序列建模的离线强化学习方法研究

作者：蓝昆南京信息工程大学

学位级别：硕士

强化学习主要用来解决决策问题。传统强化学习的学习范式需要在训练过程中不断与环境交互产生数据,通过不断试错来获得更大的奖励信号,并利用奖励信号修正智能体对策略的学习。这一标准范式存在采样效率低下导致学习速度过慢的问题。此... 详细信息

强化学习主要用来解决决策问题。传统强化学习的学习范式需要在训练过程中不断与环境交互产生数据,通过不断试错来获得更大的奖励信号,并利用奖励信号修正智能体对策略的学习。这一标准范式存在采样效率低下导致学习速度过慢的问题。此外,在一些特殊的应用场景中,由于试错成本过高,从头开始在线和环境交互提升策略是不可取的。因此,离线强化学习应运而生,该方法使用提前收集好的数据集进行学习,避免与环境的交互。这种范式训练速度快,在一些特定领域中有更好的安全性。当前离线强化学习存在的主要问题是离线训练和在线测试时的分布偏移问题。受到Transformer在视觉等领域成功应用的启发,本文分别针对单智能体领域和多智能体领域,利用Transformer序列建模离线强化学习做了以下研究:(1)不同于传统的强化学习算法(如策略梯度,Q-Learning更新)来训练策略,本文在工作一中应用Transformer序列建模的学习范式,通过自行收集的谷歌足球环境数据集来训练策略。该方法能够利用Transformer实现长期信用分配,同时绕过离线强化学习中存在的分布偏移问题。此外,通过将奖励引入序列建模,避免了对未来奖励的忽视,而不是只专注于短期奖励。因为谷歌足球环境奖励的稀疏性,本文设计了奖励函数用来加速学习。此外,在Transformer的模型中引入了因果掩码来遮挡早期的数据,满足马尔可夫决策的问题设定。在谷歌足球环境上的实验表明,与当前先进的离线强化学习方法相比,本文方法可以达到更优的效果。(2)工作二,将Transformer序列建模引入到多智能体强化学习领域,并加入了预训练微调范式,使用它来检验Transformer在多智能体强化学习环境中的应用。针对多智能体强化学习,本文提出了一种新的方法,基于随机掩码的多智能体决策Transformer。具体而言,该方法设计了新型的序列建模方式以适应多智能体环境,并引入了随机掩码模块来提升模型的泛化能力和数据的利用率本文使用了一个通用的多智能体强化学习环境-星际争霸多智能体挑战(SMAC),来验证该算法。在星际争霸II离线数据集上,本文方法的表现优于最先进的离线强化学习方法基线,证明了该算法的有效性。当在线微调时,加载离线预训练的策略后显著提高了算法效果,并且在few-shot和zero-shot的任务中仍有不错的表现。

关键词：离线强化学习多智能体强化学习 Transformer 序列建模预训练微调

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于时间门控循环网络的用户行为序列建模

基于时间门控循环网络的用户行为序列建模

作者：高奔浙江大学

学位级别：硕士

作为个性化搜索和推荐系统的核心,用户行为建模决定着个性化系统的效果,一直吸引着研究人员的关注。在循环神经网络(RNN)被提出后,由于其对于序列数据的强大拟合能力,被广泛应用在如行为序列预测、语言模型等领域。不过,传统RNN框架仅... 详细信息

作为个性化搜索和推荐系统的核心,用户行为建模决定着个性化系统的效果,一直吸引着研究人员的关注。在循环神经网络(RNN)被提出后,由于其对于序列数据的强大拟合能力,被广泛应用在如行为序列预测、语言模型等领域。不过,传统RNN框架仅仅考虑了序列的顺序关系,对序列的时间间隔并没有明显的感知。而对于行为序列问题而言,行为的时间间隔是刻画行为关联的一个重要特征。因此,本文对RNN框架中一种广泛应用的变体——GRU进行了改进,增加了时间门结构和基于时间的注意力机制,本文称之为Time-GRU。模型中的两个模块引入了时间信息,相比传统模型,能够同时预测用户的长期和短期偏好,从而提高推荐和搜索排序的结果。本文在两个著名的公开数据集和一个电商平台的离线数据集上进行了实验,并在线上环境进行了 AB测试,实验结果表明,Time-GRU超过了目前现有的先进算法。

关键词：序列建模门控循环网络注意力机制推荐系统

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的序列数据建模的研究与实现

基于深度学习的序列数据建模的研究与实现

作者：张晓艳东北大学

学位级别：硕士

随着人工智能技术的迅猛发展,在互联网的各类应用中,积累了大量有内在关联性的序列数据。如何进行序列数据建模去更好地挖掘序列数据之间的关联性,对未来进行更准确、更快速的推荐预测,成为了推进社会智能化的一项重要研究内容。但是在... 详细信息

随着人工智能技术的迅猛发展,在互联网的各类应用中,积累了大量有内在关联性的序列数据。如何进行序列数据建模去更好地挖掘序列数据之间的关联性,对未来进行更准确、更快速的推荐预测,成为了推进社会智能化的一项重要研究内容。但是在模型搭建的过程中经常会遇到如序列数据的稀疏性、长程信息依赖导致的特征传递丢失、复杂关系推理困难等问题和挑战。本文主要针对上面的问题在特定的领域展开了研究,并利用辅助信息在传统模型的基础上做了一些改造和创新。提出的模型在实际案例上进行了实验,结果表明提出的模型可以很好地改善序列数据的稀疏性、信息传递和推理困难等问题。(1)首先,为解决序列数据稀疏性问题,构建了一种基于组合神经网络的序列排序预测模型。该模型通过全局循环神经网络模型去挖掘用户、检索语句和产品广告三者之间的关系,得到了用户的潜在偏好数据;通过局部循环神经网络模型去挖掘检索语句与广告两者之间的关系,得到查询意图转化为不同广告的概率分布的数据。并将二者结合,用于广告推荐,以提高广告推荐效果。最后,将所设计的模型在真实的广告点击数据集上进行了实验,和传统算法对比,其平均倒数排序值为0.581,而Accuracy@20性能则高达90.3%。证明了所提模型在解决序列数据稀疏性问题上的优越性。(2)其次,为解决序列数据长程信息丢失、推理困难的问题,构建了一种基于多轮注意力机制的序列生成预测模型。视觉问答、目标检测中一般使用单轮注意力机制模型,然而用此类模型处理视觉对话中信息传递、推理问题却不能得到一个很好的预期效果。因此提出了多轮注意力机制网络模型。该模型针对跨模态的信息分别进行编码并存储到相应的事实记忆库;然后把所需回答的问题同时投射到两种记忆库中,使跨模态的信息进行多轮交互,进而检索到和问题最相关的事实依据。用于解决序列建模中的信息传递丢失和推理困难的问题。最后,将所设计的模型在真实的视觉对话数据集中进行了实验,和传统算法对比,第一轮注意力机制的各项指标都超越了其他对比算法,证明了所提跨模态注意力机制的有效性;在Accuracy@10指标上第二轮注意力机制较第一轮注意力机制提高了1.55%,证明了所提多轮注意力结构模型对信息传递的有效性。

关键词：序列建模推荐预测循环神经网络视觉对话跨模态注意力机制

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于自注意力网络的共享账户跨域序列推荐

计算机研究与发展 2021年第11期58卷 2524-2537页

作者：郭磊李秋菊刘方爱王新华山东师范大学商学院济南250358 山东师范大学信息科学与工程学院济南250358

共享账户跨域序列推荐(shared-account cross-domain sequential recommendation,SCSR)是指在多个用户共同使用一个账户和用户的行为会在多个域中产生的情况下,给该账户推荐下一个可能会点击的项目.与传统的序列推荐任务相比,共享账户... 详细信息

共享账户跨域序列推荐(shared-account cross-domain sequential recommendation,SCSR)是指在多个用户共同使用一个账户和用户的行为会在多个域中产生的情况下,给该账户推荐下一个可能会点击的项目.与传统的序列推荐任务相比,共享账户跨域序列推荐主要面临2方面的挑战:1)每一个账户里的交互行为是由多个用户产生的,并且这些用户的行为是混合在一起的;2)用户在1个域中产生的交互行为可能会提升推荐系统对该用户在其他域的推荐质量.目前,已有的一些相关工作大都是基于循环神经网络(recurrent neural network,RNN)的方法,但由于RNN本身固有的一些缺陷,导致基于RNN的方法不仅非常耗时,而且不能够很好地捕获交互行为之间的长期依赖关系.针对SCSR问题,提出了基于自注意力的跨域推荐模型(self-attention-based cross-domain recommendation model,SCRM)来解决这2个挑战.具体而言,首先引入1个多头自注意力网络来建模1个共享账户中多个用户参与的交互行为.然后,提出了一个基于多层交叉映射感知网络的跨域传输单元,以实现借助一个域的信息来提高另一个域的推荐质量.最后,通过一个混合推荐解码器整合了来自2个域的信息以实现在不同域中的推荐.在真实数据集HVIDEO上进行了实验,实验结果表明,与目前最新的基准方法相比,所提出的模型能在MRR和Recall这2个指标上取得了更加优异的结果;在运行效率上,比基于RNN的方法取得了更短的训练和学习时间.

关键词：多头自注意力共享账户推荐跨域推荐序列建模协同过滤

基于深度神经网络结构的互联网金融市场动态预测

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2019年第8期56卷 1621-1631页

作者：赵洪科吴李康李徵张兮刘淇陈恩红天津大学管理与经济学部天津300072 大数据分析与应用安徽省重点实验室(中国科学技术大学) 合肥230027

近些年,互联网金融市场在国内外迅速发展;同时,针对互联网金融市场的研究也成为了学术界的热点.相比于传统金融市场,互联网金融市场具有更高的流动性和易变性.针对互联网金融市场的动态(日交易量和日交易次数)进行研究,提出了基于深度... 详细信息

近些年,互联网金融市场在国内外迅速发展;同时,针对互联网金融市场的研究也成为了学术界的热点.相比于传统金融市场,互联网金融市场具有更高的流动性和易变性.针对互联网金融市场的动态(日交易量和日交易次数)进行研究,提出了基于深度神经网络结构的融合层次时间序列学习的预测模型.首先,该模型可以实现对多序列(市场宏观动态序列和多种子序列)特征变量输入的处理,并且在时间和序列特征2个维度上利用注意力机制来融合输入变量.其次,模型设计了基于预测序列平稳性约束的优化函数,使得模型具有更好的稳健性.最后,在真实的大规模数据集上进行了大量的实验,结果充分证明了所提出的模型在互联网金融市场动态预测问题上的有效性与稳健性.

关键词：互联网金融时间序列动态预测深度神经网络序列建模

基于Holt-Winters指数平滑和时间卷积网络的短期负荷预测

在线全文

学校读者我要写书评

暂无评论

电力系统自动化 2022年第6期46卷 73-82页

作者：杨国华郑豪丰张鸿皓贾睿宁夏大学物理与电子电气工程学院宁夏回族自治区银川市750021 宁夏电力能源安全自治区重点实验室宁夏回族自治区银川市750004

为提升短期电力负荷预测的精度,着眼于特征组合的构建,提出了一种基于Holt-Winters指数平滑的特征组合(FCHW),并结合时间卷积网络(TCN)构建了FCHW-TCN负荷预测框架。首先,应用Holt-Winters指数平滑进行负荷序列预测,得到与负荷序列相关... 详细信息

为提升短期电力负荷预测的精度,着眼于特征组合的构建,提出了一种基于Holt-Winters指数平滑的特征组合(FCHW),并结合时间卷积网络(TCN)构建了FCHW-TCN负荷预测框架。首先,应用Holt-Winters指数平滑进行负荷序列预测,得到与负荷序列相关的级别分量和季节性分量。通过将上述分量用作输入特征,并与常规特征(历史负荷、日期)构成特征组合,构建了FCHW;其次,选择TCN作为预测模型,以FCHW作为TCN输入,搭建了FCHW-TCN预测框架;最后,采用2个不同负荷数据集和多个预测模型对FCHW和FCHW-TCN进行验证。结果表明,FCHW有助于模型预测精度的提升;与其他预测模型相比,FCHW-TCN预测框架有着最高的预测精度,具有优越的预测能力。

关键词：负荷预测 Holt-Winters指数平滑特征组合时间卷积网络(TCN) 序列建模

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

社会网络中序列行为的链接值及事件结果预测

中国科学：信息科学 2015年第12期45卷 1558-1573页

作者：刘秉权刘峰王晓龙孙承杰刘铭哈尔滨工业大学计算机科学与技术学院哈尔滨150001 哈尔滨工业大学深圳研究生院深圳518055

随着在线社会网络为其用户提供的功能不断丰富,用户可以参加多种多样的社交活动,将这些活动表示为对应种类的事件.其中一些事件包括多个用户之间的交互行为,再由这些交互的类型来决定该事件的最终结果.将每个行为表示为用户之间的链接,... 详细信息

随着在线社会网络为其用户提供的功能不断丰富,用户可以参加多种多样的社交活动,将这些活动表示为对应种类的事件.其中一些事件包括多个用户之间的交互行为,再由这些交互的类型来决定该事件的最终结果.将每个行为表示为用户之间的链接,用链接的极性值来表示交互的类型,对于这些链接值预测的研究称为链接预测.研究者们对于链接预测问题提出了很多方法,其中大多是在静态网络环境中孤立地预测每条链接边的值.他们将这类事件中的用户行为看作"普通的用户行为",即这些链接被看成独立且离散的存在,并未考虑这些链接之间在事件生成中的内在联系.本文通过将事件中用户行为表示为"序列行为",提出了基于序列行为的链接值预测和事件结果预测的方法.该方法能将这种序列信息建模,在模型中这种序列信息得以累积,利用这种累积来预测序列中下一个或多个时刻的链接值.在完成对整个序列的预测的同时,通过累积信息可以推断出该事件的结果.实验结果表明,我们的方法明显优于静态、孤立的链接预测方法,而且可以更好地推断出包含该序列行为事件的最终结果.

关键词：序列行为链接预测事件结果预测序列建模社会计算

在线全文

学校读者我要写书评

暂无评论

深度学习建模下的自动句子填空技术

中文信息学报 2019年第8期33卷 101-110页

作者：陈志刚华磊刘权尹坤魏思胡国平科大讯飞股份有限公司人工智能研究院安徽合肥230088 认知智能国家重点实验室安徽合肥230088 中国科学技术大学信息科学技术学院安徽合肥230026

该文提出了一种结合依存句法分析和深度神经网络的自动句子填空技术。首先,提出了一种依存句法信息展开的序列建模方案,可以在引入句法信息的同时兼顾效率,并在此基础上利用排序学习思想,训练候选答案排序模型;其次,针对整体序列建模的... 详细信息

该文提出了一种结合依存句法分析和深度神经网络的自动句子填空技术。首先,提出了一种依存句法信息展开的序列建模方案,可以在引入句法信息的同时兼顾效率,并在此基础上利用排序学习思想,训练候选答案排序模型;其次,针对整体序列建模的细节建模失准问题,提出了一种基于语言模型多状态信息融合的自动句子填空模型;最后,设计了一种结合序列表示、依存句法信息、多状态信息的多源信息融合模型。该文还构建出一个英文答题数据集并据此进行了实验。实验结果表明,依存句法展开模型相对于常用的序列建模方案,准确率有11%的绝对提升;语言模型状态排序模型相对于基线模型,准确率有9.3%的绝对提升;最终的多源信息融合模型,在测试集上获得最高76.9%的准确率。

关键词：句子填空句法分析序列建模深度学习

在线全文

学校读者我要写书评

暂无评论

基于时空多粒度兴趣建模的学习资源推荐方法

计算机研究与发展 2024年

作者：朱海萍王子瑜赵成成陈妍刘均田锋西安交通大学计算机科学与技术学院陕西省大数据知识工程重点实验室(西安交通大学) 大数据算法与分析技术国家工程实验室(西安交通大学)

个性化学习资源推荐以提取学习者兴趣为基础，为学习者推荐感兴趣的学习资源.然而，学习者的兴趣不仅受知识点、学习资源、课程等因素影响导致其兴趣难表征，而且其会随时间推移动态变化使得学习兴趣模式难捕获.针对此，提出基于时空多... 详细信息

个性化学习资源推荐以提取学习者兴趣为基础，为学习者推荐感兴趣的学习资源.然而，学习者的兴趣不仅受知识点、学习资源、课程等因素影响导致其兴趣难表征，而且其会随时间推移动态变化使得学习兴趣模式难捕获.针对此，提出基于时空多粒度兴趣建模的学习资源推荐方法，其特点在于：首次设计并实现了一种融合学习空间和时间维度的学习兴趣表征学习架构，其中，提出基于异构图的学习空间及其多粒度兴趣表征，即用节点表示知识点、学习资源、课程、教师和学校等实体，边表示实体间关系，用此异构图表示学习空间，再通过图神经网络表征学习节点嵌入来表达节点上的多粒度兴趣；提出时间维度多粒度兴趣模式表征方法，即结合时间、学习空间和课程偏好等多维度，切分学习者历史行为序列，用于挖掘学习者近期课程内、中期跨课程和长期跨课程等不同粒度的兴趣模式，并设计多粒度兴趣自监督任务，破解时空多粒度兴趣缺少监督信号问题；然后，提出多粒度兴趣自适应融合层，将多粒度兴趣表征和兴趣模式融合，获得最终的学习者兴趣，经预测层为学习者推荐感兴趣的学习资源.实验结果表明，在MOOCCube数据集上，所提算法较最优对比算法HinCRec，在Recall@20和NDCG@20指标上分别提升了3.13%，7.45%；在MOOPer数据集上，所提算法较最优对比算法HinCRec在Recall@20和NDCG@20指标上分别提升了4.87%，7.03%.

关键词：推荐系统学习资源推荐多粒度兴趣建模图神经网络序列建模