检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

神经网络模型中灾难性遗忘研究的综述

北京工业大学学报 2021年第5期47卷 551-564页

作者：韩纪东李玉鑑北京工业大学信息学部北京100124 桂林电子科技大学人工智能学院广西桂林541004

近年来,神经网络模型在图像分割、目标识别、自然语言处理等诸多领域都取得了巨大的成功.但是,神经网络模型仍有很多关键性的问题尚未得到解决,其中就包括灾难性遗忘问题.人类在学习新知识后不会对旧知识发生灾难性遗忘,神经网络模型则... 详细信息

近年来,神经网络模型在图像分割、目标识别、自然语言处理等诸多领域都取得了巨大的成功.但是,神经网络模型仍有很多关键性的问题尚未得到解决,其中就包括灾难性遗忘问题.人类在学习新知识后不会对旧知识发生灾难性遗忘,神经网络模型则与之相反.神经网络模型在适应新任务之后,几乎完全忘记之前学习过的任务.为了解决这一问题,很多相应的减缓神经网络模型灾难性遗忘的方法被提出.对这些方法进行了归纳总结,以促进对该问题的进一步研究.主要贡献包括3个方面:对现有的减缓神经网络模型灾难性遗忘的方法进行了详细的介绍,并将不同方法分为4类,即基于样本的方法、基于模型参数的方法、基于知识蒸馏的方法和其他方法.介绍了不同的评估方案,以评估不同方法对减缓神经网络模型灾难性遗忘的效果.对神经网络模型中的灾难性遗忘问题进行了开放性的讨论,并给出了一些研究建议.

关键词：神经网络模型灾难性遗忘样例模型参数知识蒸馏增量学习

在线全文

学校读者我要写书评

暂无评论

克服小样本学习中灾难性遗忘方法研究

计算机应用与软件 2020年第7期37卷 136-141,147页

作者：李文煜帅仁俊郭汉南京工业大学计算机科学与技术学院江苏南京211816

针对小样本学习在识别新类别时会出现灾难性遗忘的问题,提出一种小样本学习中克服灾难性遗忘的方法。结合卷积神经网络识别模型提取图片特征,引用注意力机制设计分类权重生成器,使新类权重的生成基于基类权重。通过基于皮尔森相似度的... 详细信息

针对小样本学习在识别新类别时会出现灾难性遗忘的问题,提出一种小样本学习中克服灾难性遗忘的方法。结合卷积神经网络识别模型提取图片特征,引用注意力机制设计分类权重生成器,使新类权重的生成基于基类权重。通过基于皮尔森相似度的识别模型计算新类特征与基类图片分类权重之间的相似度,判断新类图像的类别。在三种数据集进行实验,结果表明:该方法使小样本图像分类的精度得到了一定程度的提升,同时不会牺牲基类的识别准确度,克服了灾难性遗忘。

关键词：灾难性遗忘小样本学习注意力机制分类权重皮尔森相似度

非平稳数据流下的持续学习灾难性遗忘问题求解策略综述

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2023年第5期40卷 1292-1302页

作者：袁坤张秀华溥江杨静李斌李少波贵州大学机械工程学院贵阳550025 贵州大学省部共建公共大数据国家重点实验室贵阳550025 贵州民族大学物理与机电工程学院贵阳550025

持续学习作为一种在非平稳数据流中不断学习新任务并能保持旧任务性能的特殊机器学习范例,是视觉计算、自主机器人等领域的研究热点,但现阶段灾难性遗忘问题仍然是持续学习的一个巨大挑战。围绕持续学习灾难性遗忘问题展开综述研究,分... 详细信息

持续学习作为一种在非平稳数据流中不断学习新任务并能保持旧任务性能的特殊机器学习范例,是视觉计算、自主机器人等领域的研究热点,但现阶段灾难性遗忘问题仍然是持续学习的一个巨大挑战。围绕持续学习灾难性遗忘问题展开综述研究,分析了灾难性遗忘问题缓解机理,并从模型参数、训练数据和网络架构三个层面探讨了灾难性遗忘问题求解策略,包括正则化策略、重放策略、动态架构策略和联合策略;根据现有文献凝练了灾难性遗忘方法的评估指标,并对比了不同灾难性遗忘问题的求解策略性能。最后对持续学习相关研究指出了未来的研究方向,以期为研究持续学习灾难性遗忘问题提供借鉴和参考。

关键词：持续学习灾难性遗忘正则化策略重放策略动态架构策略

同方期刊数据库

神经网络多任务连续学习中灾难性遗忘问题的研究

在线全文

学校读者我要写书评

暂无评论

神经网络多任务连续学习中灾难性遗忘问题的研究

作者：郭正兵昆明理工大学

学位级别：硕士

人类能够在其一生中不断学习新知识并对知识进行优化,同时还能够保留先前知识,这种能力对于自动学习系统在现实世界中发挥持续自主作用至关重要。机器学习发展至今,很多地方超过人类,但要拥有这种像人一样能够连续终生学习的能力,依然... 详细信息

人类能够在其一生中不断学习新知识并对知识进行优化,同时还能够保留先前知识,这种能力对于自动学习系统在现实世界中发挥持续自主作用至关重要。机器学习发展至今,很多地方超过人类,但要拥有这种像人一样能够连续终生学习的能力,依然是一个长期的挑战。目前,广泛运用的深层神经网络普遍存在只能从固定批次的单一任务训练数据中进行学习的缺点。在有多个任务时,由于不同任务的优化目标往往不同,或即使目标函数相同数据集统计规律也不同,在连续学习中旧的权重可能被新的数据覆盖,这就导致了灾难性遗忘（catastrophic forgetting,CF）。特别是针对不同姿态（如多角度全局旋转）的多任务图片样本数据,网络模型学习能力差、鲁棒性弱、遗忘现象严重,随任务数增多网络学习能力急剧降低。本文针对神经网络在连续学习中出现的上述困难,提出了DMRCN和HAT-GAL两种解决模型。在DMR-CN模型中,提出了一种新的动态存储路由策略,根据当前的输入集来控制胶囊网络（Caps Net）的前向路径。为了回忆以前的知识,在这些连续的任务之间维护一个二进制路由表。然后,集成竞争原型聚类的增量过程来更新当前任务的路由。此外,采用稀疏性度量来解耦不同学习任务之间的显著路由。在基于HAT（hard attention to the task）记忆力网络提出的HAT-GAL模型中,结合生成对抗学习（generative adversarial learning,GAL）的多任务连续学习方法,来提高模型的“记忆力”。将GAL嵌入HAT网络全连接层中,解决网络随着任务数增多学习能力降低以及对多姿态数据鲁棒性差的问题。同时,结合进化策略进行网络及参数寻优,有效缓解随着任务数的增多,导致参数冗余、易陷入局部最优、前知识被覆盖的问题。DMR-CN主要对高分辨率图片的多姿态变换具有很好的效果,并且任务数增加到十个后依然对先前任务有很好的测试精度,对新任务有很好的学习能力。HAT-GAL主要对小分辨率图像,有很好的普适性,并且效率高,鲁棒性能更好,适用于多种小数据集。

关键词：多任务连续学习神经网络灾难性遗忘生成对抗学习进化策略

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

在线增量学习模型中的灾难性遗忘问题研究

在线增量学习模型中的灾难性遗忘问题研究

作者：吉宝伦哈尔滨理工大学

学位级别：硕士

随着个人智能设备的不断普及,对于一个能够从在线数据流中进行学习的在线深度学习模型的需求也越来越高了。在对模型规模有所限制的情况下,基于正则化和基于重演的增量学习方法有着更好的性能。基于正则化的增量学习方法通过在损失函数... 详细信息

随着个人智能设备的不断普及,对于一个能够从在线数据流中进行学习的在线深度学习模型的需求也越来越高了。在对模型规模有所限制的情况下,基于正则化和基于重演的增量学习方法有着更好的性能。基于正则化的增量学习方法通过在损失函数中加入正则化项来限制神经网络中的某些参数的变化。它不需要额外的空间来存储关于旧任务的信息,对于存储空间的要求较小。但是,面对长序列和相似度低的任务时,在损失函数中引入正则化项的方式不能有效地保存已学习的知识。基于重演的增量学习方法会存储关于旧任务的信息,并在新任务的训练过程中重演这些信息来克服灾难性遗忘。虽然它对于存储空间的要求较大,但是面对长序列和相似度低的任务时,它往往能有更好的性能。然而,在记忆检索方法中选择哪些样本进行重演和在记忆更新方法中存储哪些样本到重演集里是基于重演的增量学习方法中的两大问题。本文将对这些问题进行实验和探讨。针对基于正则化的增量学习方法无法有效地在长序列和相似度低的任务下保存已学习的知识的问题。本文提出了基于三元组多样重演集和梯度正则化的在线增量学习方法(Knowledge Regularization Replay,KRR)。KRR引入了重演集并对记忆更新方法进行了改进。在记忆更新方法中,首先,它将批次样本输入模型和分类器得到分类结果。其次,它分别将正确分类和错误分类的样本输入到筛选器,并将筛选出的样本存储到重演集中。为了更高效地利用知识蒸馏来克服灾难性遗忘,KRR改进了损失函数中的蒸馏损失函数项。在计算损失函数时,模型用蒸馏损失函数对分类损失函数进行正则化,使模型能够同时学习到关于新任务和旧任务的知识。针对基于重演的增量学习方法中关于选择和存储样本的两大挑战。本文提出了基于控制遗忘的记忆管理和对比交叉熵损失函数的在线增量学习方法(Cross-entropy Contrastive Replay,Ce CR)。Ce CR包含了三个方法:关注类分布的记忆检索方法、类中心逼近的记忆更新方法和交叉熵对比损失函数。关注类分布的记忆检索方法使用了无放回采样来决定需要检索的类别,并且确保类别不会被重复地检索。类中心逼近的记忆更新方法区分了正确分类的训练样本和错误分类的训练样本,并且选择性地用输入样本更新重演集。交叉熵对比损失函数以高冲量的方式训练模型,实现了更有效的学习。

关键词：在线增量学习灾难性遗忘蒸馏损失函数交叉熵对比损失重演集

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

并行卷积神经网络和灾难性遗忘问题的研究

并行卷积神经网络和灾难性遗忘问题的研究

作者：方皓达北京工业大学

学位级别：硕士

近年来,神经网络在学术界和工业界纷纷掀起了一波波的研究热潮,这股热潮推动着深度学习技术在计算机视觉、自然语言处理、人机对抗等诸多领域中取得了许多令人惊艳的结果。在多任务的场景下,神经网络可以在其中的某个单个任务中达到近... 详细信息

近年来,神经网络在学术界和工业界纷纷掀起了一波波的研究热潮,这股热潮推动着深度学习技术在计算机视觉、自然语言处理、人机对抗等诸多领域中取得了许多令人惊艳的结果。在多任务的场景下,神经网络可以在其中的某个单个任务中达到近乎完美的效果,但是在切换到新任务时,神经网络会在新任务的训练过程中改变之前在旧任务上的参数,这种参数的改写会降低新网络在旧任务上的性能。在认知科学的领域中,上述现象被称作神经网络的灾难性遗忘,灾难性遗忘问题也被认为是神经网络众多限制中的一种。针对该问题,本文在传统单分支单任务的卷积神经网络结构的基础上提出了双分支并行卷积神经网络架构。整个架构拥有左右两个分支结构,新旧任务分别进入左右不同的并行分支,低层分支分别独立进行计算,双分支在并行架构的高层部分融合成一条主干进行分类。整个架构通过神经网络对特征的自动挖掘计算将新旧任务之间的内在特征联系起来在一定程度上缓解了灾难性遗忘问题。进一步,本文在并行卷积神经网络架构的基础上加入了门限单元控制模块,该模块的输出值将会最终作用到整个并行架构的总损失函数上,门限模块的输入是该任务分支中卷积层的输出,门限模块的输出是一个0到1之间的门限值,利用输出的门限值可以更有针对性的控制并行架构中左右任务分支对整个模型的作用效果。在损失函数设计方面,双分支并行卷积神经网络在左右分支上分别计算自己的损失,通过将门限模块计算得出的门限值与左右分支对应的损失加权求和从而得到整个并行卷积神经网络的总损失,整个并行架构训练的目标是优化总损失。实验表明,并行卷积神经网络可以有效缓解神经网络灾难性遗忘问题。此外,在研究过程中,我们发现Dropout方法对缓解神经网络灾难性遗忘问题也有着一定的效果。

关键词：深度学习神经网络灾难性遗忘并行卷积神经网络

基于进化策略的连续学习中灾难性遗忘问题研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于进化策略的连续学习中灾难性遗忘问题研究

作者：梁敏昆明理工大学

学位级别：硕士

人类和动物有能力在其一生中不断地获取并微调知识。与之类似,从连续的信息流中学习的能力对于学习系统及在现实世界中发挥作用的自主控制至关重要。然而,对于机器学习和神经网络模型来说,连续终身学习仍然是一个长期的挑战。目前最先... 详细信息

人类和动物有能力在其一生中不断地获取并微调知识。与之类似,从连续的信息流中学习的能力对于学习系统及在现实世界中发挥作用的自主控制至关重要。然而,对于机器学习和神经网络模型来说,连续终身学习仍然是一个长期的挑战。目前最先进的深层神经网络模型普遍存在一个缺点,即这种模型只能从固定批次的训练数据中进行学习与训练,在通常情况下不考虑任务数量使得学习训练的内存不足并导致对先前训练知识的遗忘,这就导致了灾难性遗忘问题(catastrophic forgetting)。针对在连续学习中使用神经网络而存在的灾难性遗忘问题,本文在使用传统梯度下降的基础上,结合了门函数与注意向量机制,并且使用了进化策略进行算法的优化,不仅缓解了连续学习中的灾难性遗忘问题,而且解决了传统方法所存在的局部最优与网络结构冗余问题。在此基础上,本文还提出了使用生成对抗网络生成与当前正样本相似的对抗样本进行训练,解决在训练过程中负样本缺失的问题,从而提高当前任务模型学习的分类精度。这些策略使得在经典的随机排列乱序任务中,灾难性遗忘问题得以解决。并且在与国内外最新研究方法相比,在传统的评估指标遗忘率和识别率上都取得了最好的结果。

关键词：连续学习神经网络灾难性遗忘遗传算法生成对抗网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向灾难性遗忘的小样本增量学习方法研究

面向灾难性遗忘的小样本增量学习方法研究

作者：李歌中国矿业大学

学位级别：硕士

得益于深度学习的快速发展,神经网络在自然语言处理、图像分类、目标跟踪等领域得到了广泛应用,而灾难性遗忘一直是神经网络研究领域面临的重要问题之一。小样本增量学习伴随着深度学习发展而来,同样也会面临灾难性遗忘问题。本文从卷... 详细信息

得益于深度学习的快速发展,神经网络在自然语言处理、图像分类、目标跟踪等领域得到了广泛应用,而灾难性遗忘一直是神经网络研究领域面临的重要问题之一。小样本增量学习伴随着深度学习发展而来,同样也会面临灾难性遗忘问题。本文从卷积神经网络分类器和训练过程中隐含的时间序列关系两个方面入手,针对性地处理灾难性遗忘问题。首先,引入了多跳图注意力模块,提出了基于多跳图注意力的小样本增量学习算法。然后,利用长短期记忆网络(Long Short Term Memory,LSTM)来建模增量学习过程中的时间序列关系,显式挖掘局部上下文信息,提出了基于LSTM特征记忆的小样本增量学习算法。本文的主要工作如下:1,针对单跳图注意力网络只能挖掘相邻节点信息的问题,提出了基于多跳图注意力的小样本增量学习算法去显式地探索全局上下文信息。从注意力聚合的角度改进了注意力得分的计算方式,从而使得注意力网络能够充分挖掘和利用上下文信息。然后,在此基础上提出了使用多跳图注意力的小样本增量学习算法,将特征信息映射到拓扑空间中进行节点创建、更新,并使用此算法来更新原始网络中的分类器。在CIFAR100和CUB200数据集上进行了5-way 5-shot等场景的验证实验,结果表明所提算法充分考虑了多跳结构来建模全局上下文信息的关键性作用,获得了较高的准确率和较低的遗忘率。2,为了增强局部上下文特征的关联,提出了基于LSTM的特征记忆算法。LSTM引入的“门”机制,能够通过利用于上一会话状态与当前会话状态之间的局部特征信息,显式地挖掘局部上下文信息。将上一会话状态中的特征信息和当前会话状态中的特征信息送入LSTM,获得状态叠加后的新的特征信息。接着,使用粗标记信息强化增量过程中LSTM记忆的特征。在CIFAR100和CUB200数据集上进行了5-way 5-shot等场景的实验验证,结果表明所提算法有效地利用了局部上下文信息,获得了较好的分类效果和较低的遗忘率。本文共有图33幅,表21个,参考文献84篇。

关键词：小样本增量学习灾难性遗忘多跳图长短期记忆网络粗标记

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

终身学习中的灾难性遗忘问题研究

终身学习中的灾难性遗忘问题研究

作者：刘子夜福州大学

学位级别：硕士

现实世界中的计算系统经常遇到连续信息流的运算,这种情况要求模型能够随着时间的流逝而适应和学习。传统的机器学习方法所构建的静态模型,无法随时间推移来改变或扩展其行为,而终身学习试图通过让模型保留已经获得的知识,并将其用于将... 详细信息

现实世界中的计算系统经常遇到连续信息流的运算,这种情况要求模型能够随着时间的流逝而适应和学习。传统的机器学习方法所构建的静态模型,无法随时间推移来改变或扩展其行为,而终身学习试图通过让模型保留已经获得的知识,并将其用于将来的学习,使模型的学习过程更接近于人类的学习方式。如何保留和利用过去的知识是终身学习的重要难点,具体而言,终身学习需要解决灾难性遗忘问题,即避免模型在新任务训练期间几乎完全失去先前任务的知识。基于生成模型的数据重现是解决这一问题的主要方法之一,该方法利用生成模型生成代表旧任务的伪数据,并将其与新任务数据混合用于训练模型。本文工作主要改进分类任务下这一方法中的模型训练效果,具体内容如下:(1)本文工作提出正交风格损失作为生成模型训练过程中的正则项,提高了模型的学习能力。如何充分利用旧模型所学到的旧任务数据中的知识是提高模型训练效果的关键问题之一,这个问题分为两个难点:如何表达旧模型学到的知识以及如何将其用于新生成模型的训练。本文工作提出的方法通过将旧模型在数据上提取的特征作为知识的表达来解决第一个难点,再将其用于构造新生成模型训练过程中的正则项来解决第二个难点。正交风格损失即为该正则项,其体现了新旧生成模型生成的不同旧任务伪数据经过同一个旧模型所提取出来的抽象特征的差异,而最小化这个差异可以使新生成模型更快学习旧任务知识。(2)本文工作利用新旧分类模型之间的知识蒸馏让新模型更高效的学习旧任务数据中的类别分布,提高了分类模型的训练效果。如何将分类模型所学到的旧任务数据类别分布应用到新分类模型的训练中是提高模型训练效果的另一关键问题。针对此问题,本文将知识蒸馏方法应用于新模型在旧任务伪数据中的训练,从而让新模型更快速得掌握旧任务数据的类别分布。(3)本文工作将条件生成对抗网络的一种变体(ACGAN)应用到模型的结构设计上,解决了模型训练中数据类别不平衡的问题并减少了模型参数。在基于生成模型的传统方法中,无法指定模型生成的数据类别,由此导致数据类别不平衡问题。本文工作将模型扩展为ACGAN。一方面,ACGAN的训练方法为模型提供了类别标签来生成对应类别的样本,即拥有传统的条件生成模型的优点从而有效解决了类别不平衡问题;另一方面,本文工作充分利用分类模型,将其作为ACGAN训练生成模型所需要的辅助分类器,减少了模型参数量。(4)本文工作完成了上述各模型的实验,证实了各模型的有效性。

关键词：终身学习灾难性遗忘风格迁移知识蒸馏