检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

小样本问题下培训弱教师网络的模型蒸馏模型

计算机应用 2022年第9期42卷 2652-2658页

作者：蔡淳豪李建良南京理工大学理学院南京210094

针对深度神经网络在图像识别中存在的训练数据不足,以及多模型蒸馏中存在的细节特征丢失和蒸馏计算量大的问题,提出一种小样本问题下培训弱教师网络的模型蒸馏模型。首先通过集成学习算法中的引导聚集(Bagging)算法培训弱教师网络集,在... 详细信息

针对深度神经网络在图像识别中存在的训练数据不足,以及多模型蒸馏中存在的细节特征丢失和蒸馏计算量大的问题,提出一种小样本问题下培训弱教师网络的模型蒸馏模型。首先通过集成学习算法中的引导聚集(Bagging)算法培训弱教师网络集,在保留图像数据集细节特征的同时进行并行计算以提升网络生成效率;然后融合知识合并算法,并基于弱教师网络特征图形成单个高质量、高复杂度的教师网络,从而获得细节重点更突出的图像特征图;最后在目前先进的模型蒸馏基础上提出了针对组合特征图改进元网络的集成蒸馏模型,该算法在减少了元网络训练计算量的同时实现了小样本数据集对目标网络的训练。实验结果表明,所提模型在准确率上相较于单纯以优质网络为教师网络的蒸馏方案有6.39%的相对改进;比较自适应增强(AdaBoost)算法训练教师网络再加以蒸馏得到的模型和集成蒸馏模型的模型准确率,二者相差在给定误差范围内,而集成蒸馏模型比AdaBoost算法的网络生成速率提升了4.76倍。可见所提模型能有效提高目标模型在小样本问题下的准确率和训练效率。

关键词：小样本模型蒸馏集成学习元学习特征合并

在线全文

学校读者我要写书评

暂无评论

视觉深度学习模型压缩加速综述

智能系统学报 2024年

作者：丁贵广陈辉王澳杨帆熊翊哲梁伊雯清华大学软件学院清华大学北京信息科学与技术国家研究中心涿溪脑与智能研究所

近年来，深度学习模型规模越来越大，在嵌入式设备等资源受限环境中，大规模视觉深度学习模型难以实现高效推理部署。模型压缩加速可以有效解决该挑战。尽管已经出现相关工作的综述，但相关工作集中在卷积神经网络的压缩加速，缺乏对视... 详细信息

近年来，深度学习模型规模越来越大，在嵌入式设备等资源受限环境中，大规模视觉深度学习模型难以实现高效推理部署。模型压缩加速可以有效解决该挑战。尽管已经出现相关工作的综述，但相关工作集中在卷积神经网络的压缩加速，缺乏对视觉Transformer模型压缩加速方法的整理和对比分析。因此，本文以视觉深度学习模型压缩技术为核心，对卷积神经网络和视觉Transformer模型2个最重要的视觉深度模型进行了相关技术手段的整理，并对技术热点和挑战进行了总结和分析。本文旨在为研究者提供一个全面了解模型压缩和加速领域的视角，促进深度学习模型压缩加速技术的发展。

关键词：视觉深度学习模型压缩轻量化结构模型剪枝模型量化模型蒸馏 Transformer 序列剪枝

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于荧光光谱的创面细菌识别技术研究

基于荧光光谱的创面细菌识别技术研究

作者：杜宇西安工业大学

学位级别：硕士

创面细菌感染所引起的炎症反应会严重阻碍伤口的正常愈合过程,若未能及时治疗,严重者甚至可危及生命。目前伤口感染的诊断主要依赖于医生的视觉评估,以检测伤口感染后的临床体征为主,但这种诊治手段极具个人主观性且误判率较高。微生物... 详细信息

创面细菌感染所引起的炎症反应会严重阻碍伤口的正常愈合过程,若未能及时治疗,严重者甚至可危及生命。目前伤口感染的诊断主要依赖于医生的视觉评估,以检测伤口感染后的临床体征为主,但这种诊治手段极具个人主观性且误判率较高。微生物培养法作为细菌检测领域的金标准而被广泛认为是最准确的诊断方法,但其操作复杂且具有时延性,难以满足对创面细菌快速且高灵敏度的在线检测需求。鉴于视觉评估法和细菌培养法的不足,需求一种可快速获取创面细菌感染种类信息的识别方法迫在眉睫。实现细菌的快速检测可有助于帮助临床医生更早采取针对性的治疗措施,加速伤口愈合并减缓抗生素耐药性的发展。本文基于细菌自体荧光效应,采用荧光光谱检测法,以创面常见的金黄色葡萄球菌、大肠杆菌、铜绿假单胞菌为研究对象,以405nm的紫外光为激发光,提出了细菌荧光光谱结合机器学习算法的种类检测方法。荧光光谱检测技术具有实时监测、高灵敏性、非接触性等特点,且其光谱中可提供有关物质种类及分子结构等信息,这为实现创面细菌的快速在线检测提供了新思路。主要工作内容如下:1)基于细菌的自体荧光效应,设计了荧光采集系统,对整个系统的功能需求进行了分析,介绍了系统的架构设计,元件选型及依据。其次通过光学仿真软件对系统的激发光路和荧光收集光路进行了仿真,根据仿真分析结果搭建了荧光采集系统。2)实验采集不同光功率下以浓度梯度变化的金黄色葡萄球菌、大肠杆菌、铜绿假单胞菌三种细菌的荧光光谱数据,并使用标准正态变量变换、一阶导数、标准化等方法进行光谱预处理,以尽可能消除光谱采集过程中的干扰,提高数据的质量。然后使用主成分分析法对原始光谱数据进行降维处理,并对比分析了全光谱和光谱降维的建模结果。3)基于细菌的荧光光谱数据集,分别建立支持向量机(SVM)分类模型,卷积神经网络(CNN)模型以及基于卷积神经网络的(ResNet18-CNN)蒸馏模型,设计Res Net18模型改进卷积神经网络的结构。通过召回率、准确率以及精确率等评价指标对模型进行了评估。通过对比分析,结果表明:基于卷积神经网络的蒸馏模型拟合速度快,能在保证分类模型性能良好的前提下,实现模型复杂度的降低。模型整体预测精度达到98.31%,证实了该机器学习方法具有较强的分类能力且符合快速检测的要求。

关键词：细菌自体荧光深度学习细菌检测模型蒸馏

基于知识迁移和蒸馏的轻量级领域信息表示模型研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电力大数据 2022年第9期25卷 37-44页

作者：徐欢王尧萧展辉沈宇红南方电网有限责任公司广东广州510000 南方电网数字电网研究院有限责任公司广东广州510000

数据精细化处理是电网企业在进行数字化转型过程中的重大难题。由于电网企业的封闭性特点,数据精细化处理过程中专业语言与知识难以与外界通用的知识进行融会贯通。为解决上述问题,本文在teacher-student框架基础上结合fine-tuning技术... 详细信息

数据精细化处理是电网企业在进行数字化转型过程中的重大难题。由于电网企业的封闭性特点,数据精细化处理过程中专业语言与知识难以与外界通用的知识进行融会贯通。为解决上述问题,本文在teacher-student框架基础上结合fine-tuning技术设计了一种有效的信息表示模型——基于知识迁移与蒸馏的轻量级领域信息表示模型。该模型将通用知识框架作为基座,将专业知识与通用知识提炼成一个统一的向量空间。本文设计的模型比通用大模型更快、更轻量、更有效,仅需对百级别的专业小样本进行增量学习,便可将通用知识与专业知识进行了高效地融合。为了验证该模型的有效性,我们在文本相似度计算任务上进行了实验,实验结果表明技术指标NDCG@5提升5.76%。此外,该模型有效地降低了资源消耗,提升了搜索效率。

关键词：知识迁移模型蒸馏领域信息检索模型数字化转型

在线全文

学校读者我要写书评

暂无评论

一种轻量化的多目标实时检测模型

北京航空航天大学学报 2020年第9期46卷 1778-1785页

作者：邱博刘翔石蕴玉尚岩峰上海工程技术大学电子电气工程学院上海201620 公安部第三研究所物联网技术研发中心上海200031

为实现公安监控系统内容分析的精准智能及提高服务实战能力,提出一种轻量化的多目标实时检测算法。首先,基于CenterNet检测网络增加了CBNet的多融合阶梯级联结构,有效地解决了主干网络在日常监控中特征提取能力不足的问题;其次,通过模... 详细信息

为实现公安监控系统内容分析的精准智能及提高服务实战能力,提出一种轻量化的多目标实时检测算法。首先,基于CenterNet检测网络增加了CBNet的多融合阶梯级联结构,有效地解决了主干网络在日常监控中特征提取能力不足的问题;其次,通过模型剪枝压缩网络减少参数量,加快了监控视频分析速度。本文利用部分COCO数据集和自行采集的现场数据进行训练与测试,并与其他主流检测算法(YOLO、Faster-RCNN、SSD等)进行消融实验。实验结果表明:所提模型在公共安全监控中能有效地做到速度与精度的均衡,并具有较强的普适性。

关键词：目标检测深度学习模型压缩模型蒸馏级联融合

在线全文

学校读者我要写书评

暂无评论

基于自适应温度改进的可解释方法及实验验证

华中科技大学学报（自然科学版） 2022年第2期50卷 124-129页

作者：贲可荣王天雨张献海军工程大学电子工程学院湖北武汉430033

针对教师-学生网络存在的超参数温度控制效率低、时间开销大的问题,提出了一种基于自适应温度的小教师网络辅助训练的可解释模型.在原有教师-学生模型结构的基础上,首先,说明超参数温度只与学生模型的训练收敛速度相关;然后,加入小教师... 详细信息

针对教师-学生网络存在的超参数温度控制效率低、时间开销大的问题,提出了一种基于自适应温度的小教师网络辅助训练的可解释模型.在原有教师-学生模型结构的基础上,首先,说明超参数温度只与学生模型的训练收敛速度相关;然后,加入小教师模型结构,节约了解释模型的训练时间.在图像分类的验证实验中,解释模型在cifar-100图像数据集的平均TOP-1准确率相比原有方法提高了2.45%,处理时间节约了26.33%.提出的方法能对待解释模型进行全局近似,是一种处理时间较短的事后可解释方法.

关键词：可解释性事后可解释方法模型蒸馏自适应温度小教师网络

在线全文

学校读者我要写书评

暂无评论

结合模型压缩的小样本问答模型的研究与实现

结合模型压缩的小样本问答模型的研究与实现

作者：朱诚北京邮电大学

学位级别：硕士

随着互联网信息爆炸时代的到来,每天互联网上新增的数据量远超普通人所能处理信息的能力,过去人们利用搜索引擎,利用关键字匹配协助自己在网络上筛选信息。通过将人们在自然生活中产生的一问一答作为示例,深度神经网络可以学习到使用自... 详细信息

随着互联网信息爆炸时代的到来,每天互联网上新增的数据量远超普通人所能处理信息的能力,过去人们利用搜索引擎,利用关键字匹配协助自己在网络上筛选信息。通过将人们在自然生活中产生的一问一答作为示例,深度神经网络可以学习到使用自然语言回答自然语言的能力,借助计算机的强大算力,研究者们开发出问答系统,理解人类提出的问题,从网络上快速筛选出信息,总结并做出回答。问答系统作为智能化的信息筛选工具前景广阔,但是目前问答系统在实际应用中的瓶颈是:一是实际训练问答模型时,较难获得大量标注好的训练数据;二是使用预训练语言模型的问答系统占用空间大,推理速度慢。针对以上问题,本文提出相应的改进方法。在检索任务阶段,本文提出基于提示学习的检索器训练算法-PSEQA。该算法基于填空式提示学习模板,对不同的数据域和句子类型使用不同的软提示,使模型有目的地学习检索任务通用知识并区别数据域内特有知识的能力,增强检索器模型在小样本场景下的表现。在阅读理解任务阶段,在利用填空式提示学习模板的基础上,在模板中融合检索器输出信息,提出了 PRFR 阅读器算法,该算法有助于模型掌握输入序列的整体特征,增强模型的阅读理解能力和迁移学习能力。提出了阅读器重要性目标损失,利用阅读器模型注意力分数指导检索器模型的蒸馏过程,将两阶段蒸馏串联,提出两阶段问答模型的联合蒸馏方法。搭建实际的问答系统仿真平台,以javascript和Flask为架构搭建Web服务,应用Faiss、Mysql等数据库组织数据,整合提出的检索器和阅读器算法,利用联合蒸馏压缩模型,实现快速响应地线上问答系统。对所提出的检索器和阅读器算法进行的对比实验结果证明,PSEQA和PRFR在在小样本场景和零样本场景下的表现有显著提升。对联合蒸馏方法进行的效果实验证明了蒸馏方法对模型时空间成本缩减的有效性。

关键词：问答系统小样本学习提示学习模型蒸馏

基于深度网络模型压缩的广告点击率预估模型研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度网络模型压缩的广告点击率预估模型研究

作者：李致贤桂林电子科技大学

学位级别：硕士

随着互联网的飞速发展,当今社会逐步进入信息化时代,广告点击率（The Click-Through Rate,CTR）预估作为互联网计算广告中关键的一环,对互联网企业的运作盈利有着重要的意义。传统的广告点击率预估模型往往只能对单一特征或者两个特征... 详细信息

随着互联网的飞速发展,当今社会逐步进入信息化时代,广告点击率（The Click-Through Rate,CTR）预估作为互联网计算广告中关键的一环,对互联网企业的运作盈利有着重要的意义。传统的广告点击率预估模型往往只能对单一特征或者两个特征之间的非线性关系建模,难以有效捕捉高维特征组合间的非线性关系,通常需要专家进行特征工程,这样会消耗大量人力物力。随着深度学习的兴起,学术界引入深度学习实现自动特征组合和多维特征间的非线性关系捕捉,然而随着深度网络模型的复杂化特别是基于集成学习的深度网络模型的出现,广告点击率预估模型也趋于复杂,难以应用于实际场景。本文从模型预估准确度和模型实用性两方面考量,对广告点击率预估模型进行研究。本文的主要工作如下:（1）从模型预估准确度出发,针对传统模型性能差、成本高的问题,提出了基于多头注意力和深度神经网络的广告点击率预估模型（MADR模型）。该模型无需特征工程,利用多头注意力机制对全局特征的有效采样与预组合,提取全局注意力组合和权重参数,结合深度神经网络（DNN）,更好地捕捉全局高阶特征组合的非线性关系;此外结合残差网络对复杂网络的优势,提高深度神经网络的收敛效率,避免模型过拟合;最后经sigmoid输出结果,经实验验证,MADR模型可以实现点击率的准确预测。（2）从模型实用性出发,针对当前学术界广告点击率预估模型复杂度高,训练困难的问题,本文在MADR模型的基础上对模型结构进行压缩,提出一种基于模型蒸馏的广告点击率预估模型。该模型通过轻量化的模型拟合相对复杂的MADR模型,经实验验证,本文模型在不过分降低模型效果的情况下减少了模型复杂度和训练时间,增强模型的可用性。综上所述,本文提出的广告点击率预估模型不仅有效地预测点击率,而且对模型压缩,使得模型的复杂度降低,模型的可用性提高。

关键词：点击率预估深度学习模型蒸馏多头注意力机制残差网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于预训练语言模型的毒性评论分类

基于预训练语言模型的毒性评论分类

作者：李永聪华中科技大学

学位级别：硕士

随着用户产生的内容UGC(User Generated Content)的繁荣,毒性评论的传播也随之而来,这使得毒性评论检测成为一个活跃研究领域。毒性评论检测通常作为一个文本分类任务进行处理。基于预训练语言模型的方法在自然语言处理方面具有非常优... 详细信息

随着用户产生的内容UGC(User Generated Content)的繁荣,毒性评论的传播也随之而来,这使得毒性评论检测成为一个活跃研究领域。毒性评论检测通常作为一个文本分类任务进行处理。基于预训练语言模型的方法在自然语言处理方面具有非常优异的性能,但将其应用于毒性评论分类TCC(Toxicity Comment Classification)的研究却很少,已有的研究工作也仅将分类预测效果作为指标,而未考虑实际部署中对推断速度的性能要求。为了更好地将基于预训练语言模型的方法应用到毒性评论分类中,对三个最流行的语言模型,即BERT(Bidirectional Encoder Representations from Transformers)、Ro BERTa(A Robustly Optimized BERT Pretraining Approach)和XLM(Cross-lingual Language Model Pretraining),在其下游TCC任务上微调,设计了不同的下游网络结构,得到TCC任务的预训练模型的改进模型。从训练数据领域的角度去优化模型,分析了不同领域的数据分布对模型效果的影响,基于领域数据和目标任务数据,给出了领域内对模型继续预训练的策略,以及在有限计算资源下的轻量化训练参数设置。针对大规模预训练模型的部署问题,提出了一种同构Transformer学生模型,对预训练模型进行改进,对模型进行多阶段蒸馏,压缩部署,在性能略微损失的情况下,能够极大地提升模型在下游TCC任务推断速度,减少模型的参数规模,降低了部署的硬件要求。实验结果表明,使用基础的线性下游结构优于CNN(Convolutional Neural Network)和BiLSTM(Bi-directional Long Short-Term Memory)等复杂的结构;用轻量超参数设置对预先训练好的语言模型进行领域内继续预训练,会给下游的毒性评论分类任务带来改进,特别是当该任务有一个相对较小的数据集时候,提升更明显;多阶段模型蒸馏的方案,在损失较少预测性能的情况下,大幅度提升的推理速度、缩小模型参数规模。

关键词：毒性评论分类预训练语言模型领域内继续预训练模型蒸馏