检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

离线强化学习研究综述

计算机学报 2024年

作者：乌兰刘全黄志刚张立华苏州大学计算机科学与技术学院苏州大学江苏省计算机信息处理技术重点实验室

离线强化学习也称为批量强化学习，是深度强化学习领域的一项重要研究内容.它利用行为策略生成静态数据集，无需在线和环境交互，成功地将大规模数据集转变成强大的决策引擎.近年来，离线强化学习方法得到了广泛关注和深入研究，并在实... 详细信息

离线强化学习也称为批量强化学习，是深度强化学习领域的一项重要研究内容.它利用行为策略生成静态数据集，无需在线和环境交互，成功地将大规模数据集转变成强大的决策引擎.近年来，离线强化学习方法得到了广泛关注和深入研究，并在实际应用中取得了瞩目的成绩.目前，该方法已经用于推荐系统、导航驾驶、自然语言处理、机器人控制以及医疗与能源等应用领域，并被看作是现实世界应用强化学习最具潜力的技术途径之一.该文首先介绍了离线强化学习的背景与理论基础.随后从求解思路出发，将离线强化学习方法分为无模型、基于模型和基于Transformer模型3大类，并对各类方法的研究现状与发展趋势进行分析.同时，对比了目前3个最流行的实验环境D4RL、RL Unplugged和NeoRL.进而介绍了离线强化学习技术在现实世界诸多领域的应用.最后，对离线强化学习进行总结与展望，以此推动更多该领域的研究工作.

关键词：人工智能强化学习深度强化学习离线强化学习批量强化学习

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

融合残差网络的自监督社交推荐算法

计算机科学与探索 2024年

作者：王玉洁杨哲江苏省大数据智能工程实验室江苏省计算机信息处理技术重点实验室苏州大学计算机科学与技术学院

基于图神经网络的社交推荐算法，通过社交图和交互图的信息来学习用户和项目的嵌入，得到最终的推荐结果。但是现有算法主要利用静态的社交图结构，无法挖掘用户之间潜在的链接关系，同时也没有解决用户与项目交互行为中的噪声问题。因... 详细信息

基于图神经网络的社交推荐算法，通过社交图和交互图的信息来学习用户和项目的嵌入，得到最终的推荐结果。但是现有算法主要利用静态的社交图结构，无法挖掘用户之间潜在的链接关系，同时也没有解决用户与项目交互行为中的噪声问题。因此，提出了一种融合残差网络的自监督社交推荐算法。首先，算法采用变分超图自编码器对社交网络进行链接预测，得到重构的社交图，以此来挖掘隐藏在用户间的积极链接关系；其次，利用注意力机制为原始社交图和重构后的残差社交图分配不同的注意力系数，得到更加精确的用户表征；最后，为了缓解数据中的噪声问题，构建了自适应的超图全局关系提取器，在该提取器的协作下利用局部嵌入信息和全局嵌入信息创建自监督信号，从而优化局部的嵌入表示，进而缓解噪声影响。该算法在Ciao、Epinions和Yelp三个数据集上与NGCF、LightGCN、MHCN等基线模型进行对比实验，在Ciao数据集上Recall@10提升了17.1%～48.5% ，NDCG@10提升了1.4%～37.9%；在Epinions数据集上Recall@10提升了8.3%～56.2% ，NDCG@10提升了3.7%～29.8%；在Yelp数据集上Recall@10提升了9.1%～53.3% ，NDCG@10提升了10.7%～66.6%。实验结果表明该算法相较于基准模型有良好的推荐性能。

关键词：社交网络推荐系统图卷积神经网络超图自监督学习

多粒度自适应嵌入融合的有向超图表示学习模型

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

小型微型计算机系统 2024年

作者：马紫彤赵文博杨哲江苏省计算机信息处理技术重点实验室苏州大学计算机科学与技术学院

图表示学习能够挖掘图结构数据中蕴含的丰富信息，例如结构、关系信息等。近年，涌现了大量针对高阶、复杂图结构的表示学习研究，然而针对高阶有向超图结构的研究相对有限，且存在一定的局限性：现有方法无法同时提取有向超图的高阶性... 详细信息

图表示学习能够挖掘图结构数据中蕴含的丰富信息，例如结构、关系信息等。近年，涌现了大量针对高阶、复杂图结构的表示学习研究，然而针对高阶有向超图结构的研究相对有限，且存在一定的局限性：现有方法无法同时提取有向超图的高阶性和方向性，导致其失去了结构优势。同时，在图表示学习中，信息通过连接边实现信息传播，堆叠网络层数时容易产生过平滑问题。为解决上述问题，本文首先设计有效且能够在通用的有向超图结构中提取信息的卷积模块，在避免信息损失下有效地传递结构信息；其次采用自适应权重的嵌入融合机制，来缓解过平滑问题。在多个不同类型的数据集上的实验表明了有向超图表示学习模型的先进性，在分类任务上的准确率最高提升4.39%。

关键词：有向超图表示学习有向超图卷积自适应嵌入融合

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于有向超图自适应卷积的链接预测模型

计算机应用 2024年

作者：赵文博马紫彤杨哲苏州大学计算机科学与技术学院江苏省计算机信息处理技术重点实验室(苏州大学)

链接预测作为图学习领域中的典型问题，一直是研究的热点。尽管图神经网络为这一问题提供了多样化的解决方案，但由于普通图的结构限制，目前的模型在充分利用顶点间的高阶及不对称信息方面存在明显的不足。针对以上问题，提出了一种基... 详细信息

链接预测作为图学习领域中的典型问题，一直是研究的热点。尽管图神经网络为这一问题提供了多样化的解决方案，但由于普通图的结构限制，目前的模型在充分利用顶点间的高阶及不对称信息方面存在明显的不足。针对以上问题，提出了一种基于有向超图自适应卷积的链接预测模型，首先有向超图结构能够更充分地表示顶点间的高阶信息和方向信息，兼具超图和有向图的优势。其次有向超图自适应卷积采用自适应信息传播方式替代传统有向超图中的定向信息传播方式，从而解决了有向超边尾部顶点不能有效更新嵌入的问题，同时减轻多层卷积导致的顶点过度平滑问题。在Citeseer数据集上基于显式顶点特征的实验结果显示，有向超图自适应卷积模型在链接预测任务上，相较于有向超图神经网络（DHNN）模型的ROC曲线下面积（AUC）指标提升2.23个百分点，平均精度（AP）提升1.31个百分点。因此该模型可以充分表达顶点间的关系，有效提高链接预测任务的准确度。

关键词：有向超图链接预测超图卷积表示学习自适应卷积

基于策略蒸馏主仆框架的优势加权双行动者-评论家算法

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机科学 2024年第11期51卷 81-94页

作者：杨皓麟刘全苏州大学计算机科学与技术学院苏州大学江苏省计算机信息处理技术重点实验室

离线强化学习(Offline RL)定义了从固定批次的数据集中学习的任务，能够规避与环境交互的风险，提高学习的效率与稳定性。其中优势加权行动者-评论家算法提出了一种将样本高效动态规划与最大似然策略更新相结合的方法，在利用大量离线... 详细信息

离线强化学习(Offline RL)定义了从固定批次的数据集中学习的任务，能够规避与环境交互的风险，提高学习的效率与稳定性。其中优势加权行动者-评论家算法提出了一种将样本高效动态规划与最大似然策略更新相结合的方法，在利用大量离线数据的同时，快速执行在线精细化策略的调整。但是该算法使用随机经验回放机制，同时行动者-评论家模型只采用一套行动者，数据采样与回放不平衡。针对以上问题，提出一种基于策略蒸馏并进行数据经验优选回放的优势加权双行动者-评论家算法(Advantage Weighted Double Actors-Critics Based on Policy Distillation with Data Experience Optimization and Replay, DOR-PDAWAC),该算法采用偏好新经验并重复回放新旧经验的机制，利用双行动者增加探索，并运用基于策略蒸馏的主从框架，将行动者分为主行为者和从行为者，提升协作效率。将所提算法应用到通用D4RL数据集中的MuJoCo任务上进行消融实验与对比实验，结果表明，其学习效率等均获得了更优的表现。

关键词：离线强化学习深度强化学习策略蒸馏双行动者-评论家框架经验回放机制

同方期刊数据库

基于注意力机制的蛋白质残基相互作用预测方法

在线全文

学校读者我要写书评

暂无评论

计算机应用与软件 2024年第6期41卷 55-61页

作者：何如吉权丽君吕强苏州大学计算机科学与技术学院江苏苏州215006 江苏省计算机信息处理技术重点实验室江苏苏州215006

蛋白质残基相互作用预测对于构建蛋白质三级结构具有重要作用,许多基于深度学习的预测方法陆续提出。残基对的相互作用不仅由残基对本身属性决定,还受到所有其他残基对的影响,但多数深度模型采用的卷积神经网络更关注对局部特征的提取,... 详细信息

蛋白质残基相互作用预测对于构建蛋白质三级结构具有重要作用,许多基于深度学习的预测方法陆续提出。残基对的相互作用不仅由残基对本身属性决定,还受到所有其他残基对的影响,但多数深度模型采用的卷积神经网络更关注对局部特征的提取,而忽略了残基对相互作用的全局因素。针对该问题,提出一种基于注意力机制的预测模型,能够兼顾残基对的局部属性以及全局属性。实验结果表明,该模型与其他方法相比具有一定优势。

关键词：蛋白质残基相互作用注意力机制深度学习

在线全文

学校读者我要写书评

暂无评论

基于多级特征双向融合的小目标检测优化模型

计算机应用 2024年第9期44卷 2871-2877页

作者：潘烨新杨哲苏州大学计算机科学与技术学院江苏苏州215006 江苏省计算机信息处理技术重点实验室(苏州大学) 江苏苏州215006

由于自身特征较小以及网络的深度造成特征丢失等客观原因,小目标的检测一直是目标检测领域的难点问题。针对以上问题,提出基于网络结构进行多次特征增强以优化小目标检测的模型。首先,替换主干网络中的空间金字塔池化(SPP)以优化梯度计... 详细信息

由于自身特征较小以及网络的深度造成特征丢失等客观原因,小目标的检测一直是目标检测领域的难点问题。针对以上问题,提出基于网络结构进行多次特征增强以优化小目标检测的模型。首先,替换主干网络中的空间金字塔池化(SPP)以优化梯度计算;其次,对网络颈部实行区分特征级别的多级双向融合,并对输出头添加自适应特征融合(AFF)模块,以实现多级的特征增强。实验结果表明,在COCO2017-val数据集上,当交并比(IoU)为0.5时,所提模型的平均精度均值达到61.4%,与目前较流行的YOLOv7模型相比提高了4.7个百分点,同时在单GPU上模型的检测帧率为78.2 frame/s,满足工业检测速度要求。

关键词：深度学习小目标目标检测计算机视觉特征融合

在线全文

学校读者我要写书评

暂无评论

增广立方体上边独立生成树的并行构造

计算机科学 2024年第9期51卷 346-356页

作者：李夏晶程宝雷樊建席王岩李晓瑞苏州大学计算机科学与技术学院江苏苏州215006 苏州大学江苏省计算机信息处理技术重点实验室江苏苏州215006

近年来,围绕互连网络的研究工作越来越多。其中独立生成树(Independent Spanning Trees,ISTs)可以应用于信息的可靠传输、并行传输、安全分发以及故障服务器的并行诊断中,因此受到了许多研究者的关注。在一对多广播、可靠通信、多节点... 详细信息

近年来,围绕互连网络的研究工作越来越多。其中独立生成树(Independent Spanning Trees,ISTs)可以应用于信息的可靠传输、并行传输、安全分发以及故障服务器的并行诊断中,因此受到了许多研究者的关注。在一对多广播、可靠通信、多节点广播、容错广播、安全消息分发、IP快速重路由等网络通信中,边独立生成树(Edge-Independent Spanning Trees,EISTs)发挥着重要作用。n维增广立方体AQ_(n)是n维超立方体Q_(n)的节点对称变型,它具有超立方体及其变型所没有的一些可嵌入性质。然而,目前增广立方体上边独立生成树的构造方法都是串行构造的。文中首先提出了一种并行算法,用于构造以AQ_(n)中的任意节点为根的2n-1棵树。然后证明算法得到的2n-1棵树是高度为n的边独立生成树,算法的时间复杂度为O(N),其中N表示增广立方体中的节点数。最后通过模拟实验来验证了所提方法的准确性。

关键词：互连网络增广立方体边独立生成树并行算法高度

基于不确定性权重的保守Q学习离线强化学习算法

在线全文

学校读者我要写书评

暂无评论

计算机科学 2024年第9期51卷 265-272页

作者：王天久刘全乌兰苏州大学计算机科学与技术学院江苏苏州215006 苏州大学江苏省计算机信息处理技术重点实验室江苏苏州215006

离线强化学习(Offline RL)中,智能体不与环境交互而是从一个固定的数据集中获得数据进行学习,这是强化学习领域研究的一个热点。目前多数离线强化学习算法对策略训练过程进行保守正则化处理,训练策略倾向于选择存在于数据集中的动作,从... 详细信息

离线强化学习(Offline RL)中,智能体不与环境交互而是从一个固定的数据集中获得数据进行学习,这是强化学习领域研究的一个热点。目前多数离线强化学习算法对策略训练过程进行保守正则化处理,训练策略倾向于选择存在于数据集中的动作,从而解决离线强化学习中对数据集分布外(OOD)的状态-动作价值估值错误的问题。保守Q学习算法(CQL)通过值函数正则赋予分布外状态-动作较低的价值来避免该问题。然而,由于该算法正则化过于保守,数据集内的分布内状态-动作也被赋予了较低的价值,难以达到训练策略选择数据集中动作的目的,因此很难学习到最优策略。针对该问题,提出了一种基于不确定性权重的保守Q学习算法(UWCQL)。该方法引入不确定性计算,在保守Q学习算法的基础上添加不确定性权重,对不确定性高的动作给予更高的保守权重,使得策略能更合理地选择数据集分布内的状态-动作。将UWCQL算法应用于D4RL的MuJoCo数据集中进行了实验,实验结果表明,UWCQL算法具有更好的性能表现,从而验证了算法的有效性。

关键词：离线强化学习深度强化学习强化学习保守Q学习不确定性