检索结果-南通市图书馆

计算机应用研究 2024年第9期41卷 2611-2619页

作者：张敏杨雨晴贺艳婷史晨辉太原科技大学计算机科学与技术学院太原030024

基于非对比学习(NCL)的异构图嵌入模型不依赖负样本学习数据的内在特征和模式,可能导致模型无法有效地学习节点之间的区分度。提出了一种基于跨视图原型非对比学习的异构图嵌入模型(XP-NCL),通过寻找额外的正样本提供更多关于源节点的... 详细信息

基于非对比学习(NCL)的异构图嵌入模型不依赖负样本学习数据的内在特征和模式,可能导致模型无法有效地学习节点之间的区分度。提出了一种基于跨视图原型非对比学习的异构图嵌入模型(XP-NCL),通过寻找额外的正样本提供更多关于源节点的上下文信息,并重新考虑了正样本之间的相似性,从而为下游任务学习更高效的节点表征。该模型首先设计了一种基于异构图随机游走的树型结构,通过筛选出满足局部结构约束的随机游走路径,从而构建正样本的有向筛选树(DFT),该树包含丰富的邻居信息和语义信息;其次针对异构图的特性,定义了跨视图原型指数(ISDR)和峰值算子(peak operator),从多个维度考虑了同类样本在数量和数值上的对齐;在此基础上,模型利用停止梯度更新进行训练。最后,在ACM、DBLP和freebase数据集上,实验验证了节点的分类和聚类性能,结果表明,即使不使用负样本,XP-NCL表征与其他同构图和异构图基线相比,很多情况下都可以呈现出更优越的性能。

关键词：异构图嵌入非对比学习有向筛选树正样本采样交对称差比峰值算子

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

连续学习场景下的表示学习算法与网络结构研究

连续学习场景下的表示学习算法与网络结构研究

引用

作者：展旭晖中国石油大学(北京)

学位级别：硕士

机器学习的目标之一是更自然地学习一系列即将到达的任务。连续学习模仿了人类的真实学习模式,在不忘记旧知识的同时,不断学习新知识。在过去的几十年里,这种学习方法受到了很大关注。然而,由于连续学习中普遍存在的灾难性遗忘现象,即... 详细信息

机器学习的目标之一是更自然地学习一系列即将到达的任务。连续学习模仿了人类的真实学习模式,在不忘记旧知识的同时,不断学习新知识。在过去的几十年里,这种学习方法受到了很大关注。然而,由于连续学习中普遍存在的灾难性遗忘现象,即模型在学习新知识的过程中很容易忘记先前学习过的旧知识。这种现象将影响模型的鲁棒性能。因此,如何克服灾难性遗忘问题以提高模型的整体稳定性仍然是当前深度学习中连续学习领域的一大挑战。目前连续学习场景存在三种方法策略,其中,通过回放先前任务样例来避免遗忘的策略是一种较为理想的方式。然而,简单的回放行为缺乏策略性,既忽略了样例内部具有的丰富特征,也忽略了真实环境中的数据复杂度与安全性。因此,本文从表示学习出发,对优化记忆回放策略进行了如下的研究:(1)本文在类增量学习场景下建立了特征分离的连续学习模型。该模型将输入样例转化为不同类样例间的共享特征和同类样例间的特有特征。在新任务即将到来时,不同类样例间的共享特征将通过深度生成式模型转化为重构样本,加入新任务进行共同训练,在缓解灾难性遗忘问题的同时,优化了模型的体量并减少了运算代价。(2)模型在训练后期,存在输入样例类型过于复杂的现象,特征分离的连续学习模型难以提取出多类样例间的共享特征,因此,本文提出“超类设想”以简化样例的分类机制。在这个设想下,本文通过引入非对比学习的思想,探索出了一种基于任务级共享隐表示对齐的连续学习模型。为了验证上述两种模型的稳定性能与抗遗忘能力,本文在通用数据集Split-MINST与Fashion-MINST上进行训练,并通过两个衡量指数进行分析。实验结果表明,本文提出的两种模型可以出色地学习不同任务间样例的相似性特征,其中,任务级共享隐表示对齐的连续学习模型拥有更好的性能,可以更好地缓解对连续学习场景中出现的灾难性遗忘问题。

关键词：连续学习表示学习深度生成式模型超类非对比学习

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：