检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于知识蒸馏的ResNet模型优化研究

基于知识蒸馏的ResNet模型优化研究

作者：吕颖山西师范大学

学位级别：硕士

近几年来,卷积神经网络凭借其强大的特征提取能力,在复杂的图像分类任务中取得了显著的效果,成为了图像分类领域的研究热点。ResNet残差网络作为卷积神经网络的一种经典架构,通过增加网络深度,增强了其特征提取能力。然而,随着网络的不... 详细信息

近几年来,卷积神经网络凭借其强大的特征提取能力,在复杂的图像分类任务中取得了显著的效果,成为了图像分类领域的研究热点。ResNet残差网络作为卷积神经网络的一种经典架构,通过增加网络深度,增强了其特征提取能力。然而,随着网络的不断加深,模型精度提升难、参数冗余等问题逐渐突出,残差网络的优化越来越难。因此,如何提升网络模型精度、减少模型参数量成为优化ResNet模型的关键之处,为此,主要做了以下工作:一、概括了卷积神经网络模型优化方法的研究背景及意义,阐述了模型优化方法的发展现状,详细分析了卷积神经网络的相关理论,以及知识蒸馏的工作原理和具体分类。二、针对ResNet模型在图像分类任务中因网络不断加深而导致模型分类精度提升困难的问题,提出了一种基于互学习知识蒸馏的ResNet模型优化方法。该方法通过利用非对称卷积块(Asymmetric Convolution Blocks,ACB)强化了卷积神经网络的特征提取能力;采用多个学生网络互相学习训练的知识蒸馏方法,让每个学生网络在无教师网络指导的情况下,不仅接受传统监督学习,还需要接受其余学生网络的监督信息,提升各学生网络的学习能力。实验结果表明,改进后的ResNet20和ResNet110模型分类精度分别提高了 0.82%和0.74%,具有更高的分类精度。三、针对ResNet卷积神经网络结构中存在的参数冗余问题,引入轻量化卷积神经网络GhostNet,并结合基于注意力机制的知识蒸馏算法,提出了一种基于注意力知识蒸馏的ResNet模型压缩方法。该方法利用Ghost模块优化了 ResNet中残差结构的卷积层,以一系列廉价的线性变换增强卷积结构的特征提取能力,去除其中冗余信息;注意力机制作为特征监督信息,引导学生网络模仿强大的教师网络的注意力图,在一定程度上弥补了引入GhostNet网络带来的精度损失。实验结果表明,改进后的ResNet模型与传统的ResNet网络相比,在牺牲少量精度的情况下减少了 40%以上的参数量,显著改善了模型参数冗余的问题。

关键词：知识蒸馏 ResNet模型非对称卷积块互学习注意力机制

基于深度学习的视网膜病变OCT图像分类方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的视网膜病变OCT图像分类方法研究

作者：王续黔北京化工大学

学位级别：硕士

视网膜疾病的患病率在全球范围内正在逐步增加,黄斑异常是视网膜病变的主要原因,典型的视网膜疾病包括脉络膜新生血管、糖尿病性黄斑水肿和玻璃膜疣等。视网膜疾病的发生在老年人群当中尤其普遍,而且由于全球人口老龄化的趋势逐年上升,... 详细信息

视网膜疾病的患病率在全球范围内正在逐步增加,黄斑异常是视网膜病变的主要原因,典型的视网膜疾病包括脉络膜新生血管、糖尿病性黄斑水肿和玻璃膜疣等。视网膜疾病的发生在老年人群当中尤其普遍,而且由于全球人口老龄化的趋势逐年上升,医疗保健系统将进一步承受更加沉重的负担。因此,开发一种智能的黄斑异常诊断工具辅助眼科医生诊断是十分必要的。临床上主要采用光学相干断层成像(Optical Coherence Tomography,OCT)技术进行视网膜病变筛查,该技术具有分辨率高、无损等优点,能够快速扫描并获得视网膜的横断层图像。但是目前对视网膜疾病的诊断主要通过眼科医生观察OCT图像获得结果,但是可能在此过程中出现主观的误判且耗费时间。基于以上背景,本文开展如下工作:首先,针对目前OCT图像分类模型缺乏市场化应用潜力,提出了一种轻量级的卷积神经网络(Convolutional Neural Networks,CNN)并结合支持向量机(Support Vector Machine,SVM)的框架命名为CNN-SVM,该框架由一个改进的轻量级的Mobile Net-V3骨干网络和SVM分类器组成,改进的Mobile Net-V3骨干结合了瓶颈注意力模块(Bottleneck Attention Module,BAM),用来捕获感兴趣的空间区域,同时利用非对称卷积块提高了网络的特征提取能力。SVM分类器对骨干网络提取的特征进行分类。然后为了验证提出的CNN-SVM的性能。基于多种评价指标(精度、召回率、F1得分和准确率等)通过四组实验分析,结果表明CNN-SVM框架实现了良好的性能,优于其它先进的OCT图像分类模型,并通过可视化的热力图显示了强大的解释性。且该模型框架还具有很好的泛化性和鲁棒性,是一种可以用于黄斑异常的分类的可行、可靠的工具。该框架在实际医疗场景中作为一种医疗诊断的辅助工具,可以帮助眼科医生减少工作负担,提高决策效率,在眼科诊断的临床实践中具有一定潜力。

关键词：光学相干断层扫描 MobileNet-V3 瓶颈注意力模块非对称卷积块支持向量机

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

改进U-Net的遥感图像中建筑物变化检测

计算机工程与应用 2021年第3期57卷 239-246页

作者：张翠军安冉马丽河北地质大学信息工程学院石家庄050031 河北地质大学人工智能与机器学习研究室石家庄050031

提出了一种改进U-Net的遥感图像中建筑物变化检测方法,将变化检测问题转化为像素级二分类问题,利用U-Net模型对图像进行分类,把图像中的每个像素划分为变化类或非变化类,并根据变化类的像素得到建筑物的变化检测结果图。针对U-Net模型... 详细信息

提出了一种改进U-Net的遥感图像中建筑物变化检测方法,将变化检测问题转化为像素级二分类问题,利用U-Net模型对图像进行分类,把图像中的每个像素划分为变化类或非变化类,并根据变化类的像素得到建筑物的变化检测结果图。针对U-Net模型进行遥感图像中建筑物变化检测时,在训练中容易出现过拟合的现象,提出用非对称卷积块代替U-Net网络特征提取部分的标准卷积操作,增强卷积核的鲁棒性和网络的中心骨架,防止过拟合;针对变化检测数据集中图像背景复杂、小目标的变化情况容易被漏检的问题,提出在U-Net中引入注意力机制,抑制模型对非变化类像素特征的学习,加强对变化类特征的学习,提取到更适合的特征。实验结果表明,在引入非对称卷积块和注意力机制后,变化检测的F1分数有明显的提升。

关键词：建筑物变化检测 U-Net 非对称卷积块注意力机制

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

卷积神经网络的参数压缩和推理加速研究

卷积神经网络的参数压缩和推理加速研究

作者：龚壮展广东工业大学

学位级别：硕士

人工神经网络自诞生以来,一直致力于模拟人脑的结构来解决传统算法无法完成的任务,因神经网络对硬件资源的要求比较高,且早期对其研究力度不足、关注度的缺乏,使得神经网络的发展相对缓慢。近年来,随着硬件资源（如CPU、GPU等）的快速... 详细信息

人工神经网络自诞生以来,一直致力于模拟人脑的结构来解决传统算法无法完成的任务,因神经网络对硬件资源的要求比较高,且早期对其研究力度不足、关注度的缺乏,使得神经网络的发展相对缓慢。近年来,随着硬件资源（如CPU、GPU等）的快速更新迭代,使得神经网络的研究不再受限,研究人员也将研究焦点转移到神经网络等相关领域。在强大的硬件资源的支持下,为增强网络的特征提取能力,研究人员开始对神经网络的结构进行大刀阔斧的改造,其中简单而又有效的方法就是增大网络的深度,深度神经网络（又称深度学习）的出现彻底掀起了对神经网络的研究热潮。深度神经网络中的参数量和网络层数、神经元个数有直接联系,而参数量又决定了网络模型的存储空间和模型训练、推理时计算量的大小。所以,深度神经网络有存储密集和计算密集的特点。通常情况下,深度神经网络的训练都是在计算资源丰富的服务器上执行,推理阶段则是在计算资源相对不足的移动设备和嵌入式设备上执行。因此,研究如何在保证精度的前提下,将模型从服务器转移到移动设备、嵌入式设备上,极具研究意义。在这样的背景下,本文对卷积神经网络的参数压缩和推理加速问题进行了研究,提出一种基于Tucker分解的卷积神经网络的压缩方法。本文的主要研究内容如下:（1）我们借鉴Tucker分解压缩分类神经网络的思路,对去噪神经网络Dn CNN进行压缩,并将压缩后的网络命名为De-Dn CNN网络。实验结果表明,相比原始网络Dn CNN,De-Dn CNN以精度损失0.5%的代价,压缩了85%～90%的参数量,减少了10%～33%的网络推理时间,极大地提高了去噪神经网络在移动设备上部署的可能性。（2）针对基于Tucker分解的去噪神经网络压缩方法压缩后会损失部分精度的问题,本文提出基于非对称卷积块和Tucker分解的卷积神经网络压缩方法。通过该方法在经典的去噪卷积神经网络Dn CNN上进行参数压缩得到了压缩后的网络,我们称之为DeACB-Dn CNN网络。实验结果表明,相比De-Dn CNN,De-ACB-Dn CNN的性能指标PNSR提高了0.02～0.18,而且网络推理时间与De-Dn CNN相差不超过0.1秒。实验结果证实了理论分析的正确性,所提出的压缩方法不仅能够压缩去噪网络中的冗余参数,而且还能够保障压缩后的网络精度。

关键词：网络压缩卷积神经网络 Tucker分解非对称卷积块

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度孪生网络模型的视频跟踪识别

基于深度孪生网络模型的视频跟踪识别

作者：温超和江西科技师范大学

学位级别：硕士

伴随计算机科学与技术的不断进步,目标跟踪技术也获得高速发展。目前,目标跟踪是计算机视觉领域的重要研究方向,也是当今研究热点之一,其技术已广泛应用于视频自动化监控、无人驾驶、运动分析和视频探测等领域。因此,对视频目标跟踪算... 详细信息

伴随计算机科学与技术的不断进步,目标跟踪技术也获得高速发展。目前,目标跟踪是计算机视觉领域的重要研究方向,也是当今研究热点之一,其技术已广泛应用于视频自动化监控、无人驾驶、运动分析和视频探测等领域。因此,对视频目标跟踪算法进行研究具有重要现实意义。在复杂环境中完成视频目标的跟踪识别极具挑战性,且需同时兼顾实时性和准确率。本文通过深入分析经典孪生网络（Siam FC）在不同场景下的跟踪结果,发现其难以处理背景杂乱和运动模糊的场景。针对该问题,本文采用更深的骨干网络VGG-16,使得目标的表征更加高效准确,并将局部线性编码算法和相似度量相结合,提高目标模板与搜索图片匹配的准确性。本文从孪生网络骨干架构的卷积层出发,将标准卷积分解为多个卷积,构建非对称卷积块,从而加强网络的特征表示能力,减轻网络对于结构的依赖性。为提高网络对于遮挡目标的表征能力,本文基于孪生网络的框架,提出Feature Drop Block（FD）。该模块不仅能模拟现实世界的遮挡,也能在一定程度上缓解过拟合,从而可以有效提高遮挡目标的跟踪效果。最后本文将所提的非对称卷积块和FD分别嵌入两个代表性的孪生网络跟踪器进行实验验证。本文算法在公共数据集OTB100和VOT2018上与其它优秀的跟踪算法对比。实验结果表明,与其它算法相比,本文算法在深度孪生网络模型上能够获得更高的精度和速度。

关键词：视频目标跟踪深度孪生网络模型非对称卷积块 Feature DropBlock

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于卷积神经网络的遥感图像变化检测

基于卷积神经网络的遥感图像变化检测

作者：安冉河北地质大学

学位级别：硕士

遥感图像变化检测是对同一地理位置不同时间获取的多幅遥感图像进行分析和检测,得到地物类型发生变化的区域的一项任务。传统的变化检测算法从多时相图像的差异图中提取变化特征,经过阈值分割得到变化图。差异图的质量和阈值的选取直接... 详细信息

遥感图像变化检测是对同一地理位置不同时间获取的多幅遥感图像进行分析和检测,得到地物类型发生变化的区域的一项任务。传统的变化检测算法从多时相图像的差异图中提取变化特征,经过阈值分割得到变化图。差异图的质量和阈值的选取直接影响变化检测的精度。而差异图的质量往往受到成像因素影响,阈值通常也难以确定,导致变化检测的精度不高且自动化水平较低。卷积神经网络可以通过大量数据训练,自动提取变化类特征信息,生成变化图。因此,本文利用卷积神经网络进行遥感图像变化检测的研究,主要完成了以下工作:（1）针对遥感图像因波段拼接导致色彩不均的问题,提出一种色差均衡与拉伸算法来消除波段拼接痕迹;针对遥感图像尺寸过大,不能直接参与训练的问题,提出利用数据切分与增广操作对遥感图像进行预处理,生成实验数据集。（2）针对U-Net网络在训练时容易出现过拟合的现象,提出用非对称卷积块代替U-Net网络特征提取模块的标准卷积,增强卷积核的鲁棒性,防止过拟合;针对遥感图像背景复杂、小目标变化情况容易被漏检的问题,提出将注意力机制融入U-Net网络中,调节特征图权重,加强模型对变化类特征的学习,提取更合适的特征进行变化检测。实验结果表明,与传统方法和改进前的U-Net模型相比,改进后的U-Net模型在进行变化检测时的精度有明显提升。（3）针对U-Net网络进行变化检测时合并通道操作的存在使模型不能充分利用每幅图像的特征的问题,设计并实现一种基于双分支卷积神经网络的遥感图像变化检测模型,通过两个相同的卷积神经网络分别提取每幅图像的特征;针对特征提取部分池化操作产生的信息损失影响变化检测精度的问题,提出用一个步长为2的卷积层来代替池化层,减少特征图的信息损失。实验表明,该模型的变化检测精度与基于改进U-Net的变化检测模型以及基于孪生网络的变化检测模型相比有进一步提升,且该模型具有一定的泛化能力。

关键词：遥感图像变化检测 U-Net 非对称卷积块注意力机制双分支卷积神经网络

基于Faster-RCNN改进的目标检测算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

Journal of Measurement Science and Instrumentation 2023年第4期14卷 485-492页

作者：白晨帅邬开俊王迪聪黄涛陶小苗兰州交通大学电子与信息工程学院甘肃兰州730070 天津大学智能与计算学部天津300350

以Faster-RCNN目标检测算法为基础,用(1×3+3×1+3×3)非对称卷积块替代Faster-RCNN网络模型的3×3卷积核,提出一种基于Faster-RCNN的改进目标检测算法。首先,将残差网络ResNet作为算法骨干,用于提取图像的特征图(Feature map),将Featur... 详细信息

以Faster-RCNN目标检测算法为基础,用(1×3+3×1+3×3)非对称卷积块替代Faster-RCNN网络模型的3×3卷积核,提出一种基于Faster-RCNN的改进目标检测算法。首先,将残差网络ResNet作为算法骨干,用于提取图像的特征图(Feature map),将Feature map先通过(1×3+3×1+3×3)的卷积核块之后经过两个1×1的卷积核。其次,利用区域建议网络(Regional proposal network,RPN)获得共享特征层的建议框,把建议框映射到卷积的最后一层Feature map上,通过感兴趣区域池化层(Region of interest,RoI)将不同尺寸的锚框进行归一化。最后,利用探测分类概率(Softmax loss)和探测边框回归(Smooth L1 loss)进行训练。本文使用的是PASCAL_VOC数据集,平均查确率(Mean average precision,mAP)结果表明,相比于原始Faster-RCNN算法,mAP值提高了0.38%,相比于RetinaNet算法,mAP值提高了2.68%,相比于YOLOv4算法,mAP值提高了3.41%。

关键词： Faster-RCNN 目标检测算法非对称卷积块区域建议网络区域池化层