检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

对抗学习辅助增强的增量式入侵检测系统

哈尔滨工业大学学报 2024年第9期56卷 31-37,84页

作者：武晓栋金志刚陈旭阳刘凯天津大学电气自动化与信息工程学院天津300072

为解决增量式入侵检测系统(intrusion detection system,IDS)在检测新类攻击过程中存在的新类过拟合、旧类泛化能力弱、灾难性遗忘问题,提出了对抗辅助增强的增量式IDS。在增量训练过程中,利用对抗样本的正则化能力约束检测模型在新类... 详细信息

为解决增量式入侵检测系统(intrusion detection system,IDS)在检测新类攻击过程中存在的新类过拟合、旧类泛化能力弱、灾难性遗忘问题,提出了对抗辅助增强的增量式IDS。在增量训练过程中,利用对抗样本的正则化能力约束检测模型在新类攻击上的过拟合,设计同时存储旧类攻击的原样本及对抗样本的双分布模拟缓存器以增强检测模型对旧类的泛化能力,引入加权交叉熵损失缓解灾难性遗忘问题。在CSE-CIC-IDS2018数据集和UNSW-NB15数据集上的实验结果表明:对抗样本直接参与训练会导致模型的识别性能恶化,而对抗样本以数据分布分离的形式参与训练则增强了模型的识别性能;对抗样本在缓存器中的存储有效抑制了模型对旧类泛化能力的丢失;加权交叉熵损失对学习权重的调整缓解了新类及缓存器内数据间的不平衡所导致的灾难性遗忘。所提方法为识别动态复杂网络环境中的真实攻击提供了可行方案,具有潜在的应用价值。

关键词：入侵检测深度学习增量学习对抗学习灾难性遗忘

维普期刊数据库博看期刊

在线全文

学校读者我要写书评

暂无评论

基于知识蒸馏与注意力图的雷达信号识别方法

电子与信息学报 2022年第9期44卷 3170-3177页

作者：曲志昱李根邓志安哈尔滨工程大学信息与通信工程学院哈尔滨150001 先进船舶通信与信息技术工业和信息化部重点实验室哈尔滨150001

针对传统雷达信号识别方法无法有效进行识别类型扩展问题,该文提出一种基于知识蒸馏与注意力图的雷达信号识别方法。首先将雷达信号的平滑伪Wigner-Ville分布(SPWVD)作为输入;然后设计了基于残差网络的增量学习网络结构,利用基于知识蒸... 详细信息

针对传统雷达信号识别方法无法有效进行识别类型扩展问题,该文提出一种基于知识蒸馏与注意力图的雷达信号识别方法。首先将雷达信号的平滑伪Wigner-Ville分布(SPWVD)作为输入;然后设计了基于残差网络的增量学习网络结构,利用基于知识蒸馏与注意力图的损失函数,缓解类别增量过程中的灾难性遗忘;最后采用基于样本特征均值距离的方法对数据集进行管理,有效降低存储资源占用空间。实验表明,该方法能在存储资源有限的情况下,对扩展分类的信号快速完成训练,且对原有分类和扩展分类信号均有良好的识别准确率。

关键词：雷达信号识别增量学习知识蒸馏注意力图灾难性遗忘

在线全文

学校读者我要写书评

暂无评论

避免近期偏好的自学习掩码分区增量学习

软件学报 2024年第7期35卷 3428-3453页

作者：姚红革邬子逸马姣姣石俊程嗣怡陈游喻钧姜虹西安工业大学计算机科学与工程学院陕西西安710021 空军工程大学航空工程学院陕西西安710051

遗忘是人工神经网络在增量学习中的最大问题,被称为“灾难性遗忘”.而人类可以持续地获取新知识,并能保存大部分经常用到的旧知识.人类的这种能持续“增量学习”而很少遗忘是与人脑具有分区学习结构和记忆回放能力相关的.为模拟人脑的... 详细信息

遗忘是人工神经网络在增量学习中的最大问题,被称为“灾难性遗忘”.而人类可以持续地获取新知识,并能保存大部分经常用到的旧知识.人类的这种能持续“增量学习”而很少遗忘是与人脑具有分区学习结构和记忆回放能力相关的.为模拟人脑的这种结构和能力,提出一种“避免近期偏好的自学习掩码分区增量学习方法”简称ASPIL.它包含“区域隔离”和“区域集成”两阶段,二者交替迭代实现持续的增量学习.首先,提出“BN稀疏区域隔离”方法,将新的学习过程与现有知识隔离,避免干扰现有知识;对于“区域集成”,提出自学习掩码(SLM)和双分支融合(GBF)方法.其中SLM准确提取新知识,并提高网络对新知识的适应性,而GBF将新旧知识融合,以达到建立统一的、高精度的认知的目的;训练时,为确保进一步兼顾旧知识,避免对新知识的偏好,提出间隔损失正则项来避免“近期偏好”问题.为评估以上所提出方法的效用,在增量学习标准数据集CIFAR-100和miniImageNet上系统地进行消融实验,并与最新的一系列知名方法进行比较.实验结果表明,所提方法提高了人工神经网络的记忆能力,与最新知名方法相比识别率平均提升5.27%以上.

关键词：增量学习灾难性遗忘持续学习自学习掩码近期偏好区域隔离

在线全文

学校读者我要写书评

暂无评论

类别增量学习研究进展和性能评价

自动化学报 2023年第3期49卷 635-660页

作者：朱飞张煦尧刘成林中国科学院自动化研究所多模态人工智能系统全国重点实验室北京100190 中国科学院大学人工智能学院北京100049

机器学习技术成功地应用于计算机视觉、自然语言处理和语音识别等众多领域.然而,现有的大多数机器学习模型在部署后类别和参数是固定的,只能泛化到训练集中出现的类别,无法增量式地学习新类别.在实际应用中,新的类别或任务会源源不断地... 详细信息

机器学习技术成功地应用于计算机视觉、自然语言处理和语音识别等众多领域.然而,现有的大多数机器学习模型在部署后类别和参数是固定的,只能泛化到训练集中出现的类别,无法增量式地学习新类别.在实际应用中,新的类别或任务会源源不断地出现,这要求模型能够像人类一样在较好地保持已有类别知识的基础上持续地学习新类别知识.近年来新兴的类别增量学习研究方向,旨在使得模型能够在开放、动态的环境中持续学习新类别的同时保持对旧类别的判别能力(防止“灾难性遗忘”).本文对类别增量学习(Class-incremental learning,CIL)方法进行了详细综述.根据克服遗忘的技术思路,将现有方法分为基于参数正则化、基于知识蒸馏、基于数据回放、基于特征回放和基于网络结构的五类方法,对每类方法的优缺点进行了总结.此外,本文在常用数据集上对代表性方法进行了实验评估,并通过实验结果对现有算法的性能进行了比较分析.最后,对类别增量学习的研究趋势进行展望.

关键词：增量学习持续学习灾难性遗忘机器学习深度学习

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

持续学习的研究进展与趋势

计算机研究与发展 2024年第6期61卷 1476-1496页

作者：李文斌熊亚锟范祉辰邓波曹付元高阳计算机软件新技术国家重点实验室(南京大学) 南京210023 中国科学院空天信息创新研究院北京100094 山西大学计算机与信息技术学院(大数据学院) 太原030006 山西大学大数据学院太原030006

随着深度学习技术的发展与应用,特别是资源受限场景和数据安全场景对序列任务和数据进行快速学习需求的增多,持续学习逐渐成为机器学习领域关注的一个新热点.不同于人类所具备的持续学习和迁移知识的能力,现有深度学习模型在序列学习过... 详细信息

随着深度学习技术的发展与应用,特别是资源受限场景和数据安全场景对序列任务和数据进行快速学习需求的增多,持续学习逐渐成为机器学习领域关注的一个新热点.不同于人类所具备的持续学习和迁移知识的能力,现有深度学习模型在序列学习过程中容易遭受灾难性遗忘的问题.因此,如何在动态、非平稳的序列任务及流式数据中不断学习新知识、同时保留旧知识是持续学习研究的核心.首先,通过对近年来持续学习国内外相关工作的调研与总结,将持续学习方法分为基于回放、基于约束、基于结构三大类,并对这3类方法做进一步的细分.具体而言,根据所使用的样本来源将基于回放的方法细分为采样回放、生成回放、伪样本回放3类;根据训练约束的来源将基于约束的方法细分为参数约束、梯度约束、数据约束3类;根据对于模型结构的使用方式将基于结构的方法细分为参数隔离、模型拓展2类.通过对比相关工作的创新点,对各类方法的优缺点进行总结.其次,对国内外研究现状进行分析.最后,针对持续学习与其他领域相结合的未来发展方向进行展望.

关键词：深度学习知识迁移持续学习灾难性遗忘序列任务

在线全文

学校读者我要写书评

暂无评论

图终身学习:综述

计算机研究与发展 2024年第8期61卷 2067-2096页

作者：刘壮董子宸董宜琳尚家名张帆陈雨然楼佩妍孙欣然王昱赵军 Wayne Lin 东北财经大学金融科技学院辽宁大连116025 大连理工大学计算机学院辽宁大连116024 南加州大学计算机学院美国加利福尼亚州洛杉矶90007

图终身学习(lifelong graph learning,LGL)是一个新兴领域,旨在实现对图结构数据的持续学习,以解决现有任务上的灾难性遗忘问题,并使得顺序更新的模型能够适应新出现的图任务.尽管LGL展现出良好的学习能力,但如何持续提高其性能仍然是... 详细信息

图终身学习(lifelong graph learning,LGL)是一个新兴领域,旨在实现对图结构数据的持续学习,以解决现有任务上的灾难性遗忘问题,并使得顺序更新的模型能够适应新出现的图任务.尽管LGL展现出良好的学习能力,但如何持续提高其性能仍然是一个至关重要的问题.为填补现有研究对这一方面的空白,对最近在LGL领域的研究进行了全面调查和总结.首先,重新分类了LGL的现有方法,重点关注克服灾难性遗忘的方法.随后,系统地分析了这些方法的优缺点,并探讨了实现持续性能提升的潜在解决方案.该研究着重于如何在持续学习的过程中避免对旧任务的遗忘,同时快速适应新任务的挑战.最后,还就LGL的未来发展方向进行了讨论,涵盖了其在应用领域、开放性问题等方面的潜在影响,并具体分析了这些方向对持续性能改进的潜在影响.这些讨论将有助于指导未来LGL研究的方向,推动这一领域的进一步发展与应用.

关键词：图终身学习(LGL) 图神经网络(GNN) 重放正则化持续学习增量学习灾难性遗忘

在线全文

学校读者我要写书评

暂无评论

基于持续学习的多语言情感分析模型

数据分析与知识发现 2024年第10期8卷 44-53页

作者：赵佳艺徐月梅顾涵文北京外国语大学信息科学技术学院北京100089

【目的】解决多语言模型在处理新语种任务时由于灾难性遗忘导致的性能下降问题。【方法】提出一种基于持续学习的多语言情感分析模型mLMs-EWC,将持续学习思想融入多语言模型中,使模型能够在学习新语种特征的同时,保留已学习到的旧语种... 详细信息

【目的】解决多语言模型在处理新语种任务时由于灾难性遗忘导致的性能下降问题。【方法】提出一种基于持续学习的多语言情感分析模型mLMs-EWC,将持续学习思想融入多语言模型中,使模型能够在学习新语种特征的同时,保留已学习到的旧语种语言特征。【结果】在三种语言的持续情感分析实验中发现,mLMs-EWC模型在法语和英语任务中相比Multi-BERT模型准确率高出约5.0个百分点和4.5个百分点。此外,实验还在轻量化的蒸馏模型上评估了mLMs-EWC模型,结果显示在英语任务上准确率的提升率高达24.7个百分点。【局限】研究聚焦于三种广泛使用的语言,对其他语言的泛化能力还需进一步验证。【结论】mLMs-EWC模型能够在多语言情感分析任务中减轻灾难性遗忘,并在多语种数据集上实现持续学习。

关键词：多语言情感分析持续学习灾难性遗忘

在线全文

学校读者我要写书评

暂无评论

基于神经元正则和资源释放的增量学习

华南理工大学学报（自然科学版） 2022年第6期50卷 71-79,90页

作者：莫建文朱彦桥袁华林乐平黄晟洋桂林电子科技大学信息与通信学院广西桂林541004

针对深度学习系统在增量式场景下进行图像分类时产生的灾难性遗忘问题,提出了一种基于神经元正则和资源释放的增量学习算法。该算法首先以贝叶斯神经网络为基础框架,以神经元为单位对输入权值进行分组,并按组将权值的标准差限制为相同的... 详细信息

针对深度学习系统在增量式场景下进行图像分类时产生的灾难性遗忘问题,提出了一种基于神经元正则和资源释放的增量学习算法。该算法首先以贝叶斯神经网络为基础框架,以神经元为单位对输入权值进行分组,并按组将权值的标准差限制为相同的值;然后在训练过程中根据统一后的标准差对每组权值的调整执行相应强度的正则;最后通过在损失函数中引入决定释放比例和释放强度的因子,引导模型有选择地稀释部分权值的正则强度来保持模型的学习能力。在几个公开数据集上的实验结果表明,文中提出的方法可以更有效地发掘模型的持续学习能力,即使在容量有限的环境下,也能学习到一个性能更好的模型。

关键词：深度学习灾难性遗忘增量学习神经元正则资源释放机制容量有限环境

在线全文

学校读者我要写书评

暂无评论

基于潜层向量对齐的持续零样本学习算法

模式识别与人工智能 2021年第12期34卷 1152-1159页

作者：钟小容胡晓丁嘉昱广州大学电子与通信工程学院广州510006 广州大学机械与电气工程学院广州510006

在持续学习多任务过程中,持续零样本学习旨在积累已见类知识,并用于识别未见类样本.然而,在连续学习过程中容易产生灾难性遗忘,因此,文中提出基于潜层向量对齐的持续零样本学习算法.基于交叉分布对齐变分自编码器网络框架,将当前任务与... 详细信息

在持续学习多任务过程中,持续零样本学习旨在积累已见类知识,并用于识别未见类样本.然而,在连续学习过程中容易产生灾难性遗忘,因此,文中提出基于潜层向量对齐的持续零样本学习算法.基于交叉分布对齐变分自编码器网络框架,将当前任务与已学任务的视觉潜层向量对齐,增大不同任务潜层空间的相似性.同时,结合选择性再训练方法,提高当前任务模型对已学任务判别能力.针对不同任务,采用已见类视觉-隐向量和未见类语义-隐向量训练独立的分类器,实现零样本图像分类.在4个标准数据集上的实验表明文中算法能有效实现持续零样本识别任务,缓解算法的灾难性遗忘.

关键词：持续零样本学习灾难性遗忘潜层向量对齐选择性再训练