检索结果-南通市图书馆

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于类激活图与注意力哈希的多标签图像检索

基于类激活图与注意力哈希的多标签图像检索

作者：金磊上海财经大学

学位级别：硕士

随着信息技术的不断发展以及数据量的爆发增长,人们开始从海量数据中挖掘、提取有用的信息,图像作为重要的数据资源之一,在检索、检测等方面发挥出其特有的价值。如今,图像检索技术已经在很多领域中得到应用,比如在网上购物时可以上传... 详细信息

随着信息技术的不断发展以及数据量的爆发增长,人们开始从海量数据中挖掘、提取有用的信息,图像作为重要的数据资源之一,在检索、检测等方面发挥出其特有的价值。如今,图像检索技术已经在很多领域中得到应用,比如在网上购物时可以上传自己想要购买的商品图片,通过搜索功能自动获得在外观、功能、品牌、类别上相似的商品。在视频的版权保护角度上,可以利用相似的图片检索去掉网站中侵权的盗版视频,保护出版方的合法权益。当前对于图像检索技术的研究,主要集中在通过神经网络对抽取出深层的图像特征,作为图像的向量表示。但是,现有的特征抽取方法往往聚焦于对图像的全局特征的一次性获取(比如Rmac、Crow、Avg-Pooling等),当一个图像包含多个标签时,其可能会将很多杂乱的背景融入到生成的特征中,难以准确的捕获每一个标签所属的区域特征,最终影响了检索向量的精确度。为解决此问题,提出了基于加权类激活图的检索模型。该方法首先在卷积神经网络上通过多标签任务进行微调,在微调过程中冻结部分卷积层、使用Focal Loss损失函数训练,并使用批量梯度下降算法和Dropout方法进行优化。微调后的网络能够更加突出不同类别之间的差异。接着,通过类激活图提取出网络中属于不同类别的特征图,按照一定的策略进行加权。最后,通过一些已有的特征抽取方法获得检索向量。在实验部分中,对类激活图的选择方法、截取方法等内容进行了分析和讨论。最终,在VOC 2007以及VOC 2012两个多标签数据集上验证所提出方法的效果,实验结果表明类激活图机制能够进一步强化现有方法所提取的特征。基于类激活图的图像检索模型在多标签数据集上取得了较好的效果。但是,该方法需要大量的时间和空间成本。一方面是对于每张图片,都需要保存一个上千维度的向量,当图像数据集很大时,这些向量所占的空间也会很大。另一方面是向量运算的时间也和其长度成正比,长度越长,运算时间就越长。为了提高检索的效率,本文提出了基于注意力哈希的检索方法,其引入了近似最近邻搜索领域中的哈希技术。哈希将原来的高维向量转化成一串低维的二值哈希码,通过汉明距离计算哈希码之间的相似性。相比原来特征向量的长度,哈希码缩短了几十倍。不过,这种方法在训练时是很难优化的,因为哈希码是一个个离散的数值。所以在实际中会避免严格的二值约束,采用激活函数将离散约束松弛为范围上的约束,并利用成对监督的损失函数进行哈希码的学习。在该方法中,首先构造了一个自注意力模块,通过该模块,能够获得特征图每个空间位置上特征之间的相关性大小,从而为每个特征分配权重,权重越大的特征对最后检索向量的影响越大,注意力机制使卷积层提取出的特征更加精确。其次,设计了一个会根据相似性的大小自动调整边界的损失函数,并结合量化损失使检索向量逼近相应的阈值。通过上述方法,模型得到了相应的二进制哈希码,以用于图像检索。在实验过程中,讨论了模型在不同网络、数据集、评估指标、超参数上的效果,进行了消融实验,使用了查询扩展技术提升检索精度,并展示了几个样本的检索结果。另外,还将哈希方法与类激活图结合进行实验。最后的结果显示所提出的注意力网络和损失函数在多标签检索任务上有较好的表现。

关键词：图像检索类激活图深度学习注意力机制深度哈希

基于类激活图的卷积神经网络可视化解释方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于类激活图的卷积神经网络可视化解释方法研究

作者：李慧吉林大学

学位级别：硕士

近年来,深度学习在计算机视觉领域取得了令人瞩目的进展,然而基于深度学习的黑盒系统大多都是数据驱动的,它们可以做出预测,但其缺乏可解释性。在解释计算机视觉模型的研究中,类激活图(Class Activation Mapping,CAM)技术已经广泛地应... 详细信息

近年来,深度学习在计算机视觉领域取得了令人瞩目的进展,然而基于深度学习的黑盒系统大多都是数据驱动的,它们可以做出预测,但其缺乏可解释性。在解释计算机视觉模型的研究中,类激活图(Class Activation Mapping,CAM)技术已经广泛地应用在可视化解释卷积神经网络(Convolutional Neural Networks,CNNs)的内部工作机制中。现有的CAM方法一般将最末卷积层的激活图与其对应的权重结合以生成类激活图,其以热力图的形式在单张图像输入上突出显示网络关注的区域,例如,在图像分类任务中,突出强调与目标类别的网络预测最相关的区域。然而,从生成解释效果来看,CAM技术仍存在两大缺点。首先,目前CAM方法不能兼顾对模型的忠实性和对图像样本的可分辨性。此外,大部分CAM方法生成的解释是粗粒度的,而生成的细粒度解释噪声较多。针对上述不足,本文提出了两种新机制来分别改善CAM解释的忠实且可分辨性和细粒度的解释。一方面,本文提出了基于分组通道切换的忠实且可分辨类激活图模型(Faithful and Discriminative Class Activation Mapping,FDCAM),其改进了CAM方法的权重计算机制。首先,FD-CAM基于扰动卷积通道分组来获取因素重要性,然后将其与梯度权重方案相结合,形成一个新的权重方案。在实验中,FD-CAM在忠实度和可分辨性测试中的表现均优于现有方法。实验结果证明,扰动卷积通道分组的方法能够增强权重分配方案的鲁棒性,与权重方案结合,能够使CAM解释更忠实地表示模型的内部工作方式。另一方面,本文提出了残差类激活图(Residual Class Activation Mapping,Res-CAM)模型,其能够提升CAM方法生成解释的粒度,产生更细腻的解释。Res-CAM是一种通用的即插即用机制,它借鉴了目标检测中的金字塔型特征融合方法,能够兼顾正确的语义信息和细粒度。首先,Res-CAM利用高卷积层的激活图生成一个解释基底,使用基底中正确的语义信息来监督底层的类激活图,基于此解释基底,对底层生成的显著性图逐个去噪,得到残差部分,最后将残差语义信息从顶层累积传播到底层。实验表明,Res-CAM显著提高了CAM解释的粒度,比现有其他提升粒度方法表现更好。上述两种新的CAM机制有助于更好地理解模型的内部工作方式,并用于创建更可靠的模型,帮助深度学习模型应用在更广泛的领域中。

关键词：卷积神经网络可解释性类激活图

面向掌纹掌静脉识别网络轻量化的非对称双模态融合方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

智能系统学报 2024年

作者：林孙旗徐家梦郑瑜杰王翀王军宁波大学信息科学与工程学院中国矿业大学信息与控制工程学院

深度学习已在掌纹掌静脉领域广泛应用，但随着任务使用场景的不断微型化、终端化，现有的深度学习模型往往难以在算力匮乏、内存有限的边缘设备上顺利部署。本文基于知识蒸馏方法提出了轻量化的掌纹掌静脉识别网络。首先，根据模态特征... 详细信息

深度学习已在掌纹掌静脉领域广泛应用，但随着任务使用场景的不断微型化、终端化，现有的深度学习模型往往难以在算力匮乏、内存有限的边缘设备上顺利部署。本文基于知识蒸馏方法提出了轻量化的掌纹掌静脉识别网络。首先，根据模态特征提取复杂程度，为掌纹与掌静脉模态分别选用不同的网络深度。同时，在常规知识蒸馏方法中引入新设计的模态特征损失函数，强化教师模型对各模态特征提取的指导作用。实验结果表明，该方法有效协调了模型大小与性能，为边缘计算环境下的生物特征识别技术提供了一种有效的解决方案。

关键词：深度学习生物特征识别掌纹掌脉识别多模态网络知识蒸馏模型压缩卷积神经网络类激活图

基于逐层增量分解的深度网络神经元相关性解释方法

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

自动化学报 2024年

作者：陈艺元李建威邵文泽孙玉宝南京邮电大学智能信息处理与通信技术省高校重点实验室南京邮电大学通信与信息工程学院南京信息工程大学教育部数字取证工程研究中心

神经网络的黑箱特性严重阻碍了人们关于网络决策的直观分析与理解.尽管文献报道了多种基于神经元贡献度分配的决策解释方法,但是现有方法的解释一致性难以保证,鲁棒性更是有待改进.本文从神经元相关性概念入手,提出一种基于逐层增量分... 详细信息

神经网络的黑箱特性严重阻碍了人们关于网络决策的直观分析与理解.尽管文献报道了多种基于神经元贡献度分配的决策解释方法,但是现有方法的解释一致性难以保证,鲁棒性更是有待改进.本文从神经元相关性概念入手,提出一种基于逐层增量分解的神经网络解释新方法 LID-Taylor(Layer-wise increment decomposition),且在此基础上先后引入针对顶层神经元相关性的对比提升策略,以及针对所有层神经元相关性的非线性提升策略,最后利用交叉组合策略得到最终方法 SIG-LID-IG,实现了决策归因性能的鲁棒跃升.通过热力图对现有工作与提出方法的决策归因性能做了定性定量评估.结果显示, SIG-LID-IG在神经元的正,负相关性的决策归因合理性上均可媲美甚至优于现有工作. SIG-LID-IG在多尺度热力图下同样取得了精确性更高,鲁棒性更强的决策归因.

关键词：神经网络可解释性决策相关性逐层相关性传播类激活图积分梯度

基于MobileNetV3网络的龋病和根尖周炎根尖片的诊断

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

口腔疾病防治 2024年第1期32卷 43-49页

作者：王凯欣刘丰曾令芳刘超山东大学信息科学与工程学院山东青岛266237 济南市口腔医院儿童口腔1科山东济南250001 山东大学齐鲁医院口腔颌面外科山东济南250012

目的研究深度学习技术智能诊断龋齿和根尖周炎的效果,初步探讨深度学习在口腔疾病诊断中的应用价值。方法以2298张包含健康牙齿、龋病、根尖周炎的根尖片数据集为研究对象,随机划分为1573张训练集图像,233张验证集图像以及492张测试集... 详细信息

目的研究深度学习技术智能诊断龋齿和根尖周炎的效果,初步探讨深度学习在口腔疾病诊断中的应用价值。方法以2298张包含健康牙齿、龋病、根尖周炎的根尖片数据集为研究对象,随机划分为1573张训练集图像,233张验证集图像以及492张测试集图像。通过多种神经网络对比验证,选择性能较好的MobileNetV3网络模型应用于牙病诊断,并通过调整网络超参数优化模型。采用精确率、准确率、召回率和F1分数评估模型识别龋齿和根尖周炎的能力,并使用类激活热力图对网络模型性能进行可视化分析。结果基于MobileNetV3网络模型的牙齿病变检测算法对健康牙齿、龋病和根尖周炎进行分类的精确率、召回率和准确率分别为99.42%、99.73%和99.60%,F1分数为99.57%,达到了较为理想的智能诊断效果。可视化类激活热力图也显示出网络模型能够较为准确地提取牙科病变的特征。结论基于MobileNetV3网络模型的牙齿病变检测算法能够排除图像质量和人为因素的干扰,具有较高的诊断准确率,可满足口腔医学教学和临床应用需求。

关键词：牙科病变龋病根尖周炎根尖片智能诊断图像处理深度学习 MobileNetV3网络类激活图可视化分析

维普期刊数据库

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

多视野精细分析下的弱监督目标定位算法

计算机工程与设计 2024年第6期45卷 1750-1756页

作者：张英俊贾聪聪谢斌红太原科技大学计算机科学与技术学院山西太原030024

针对多尺度目标定位精度较差,难以捕获完整目标边界的问题,设计一种多视野精细分析模块并融入通道与空间注意力机制抑制背景噪声的干扰,获取多尺度目标的高分辨率特征。利用随机特征选取模块获取特征图随机位置的组合,聚合多个位置图获... 详细信息

针对多尺度目标定位精度较差,难以捕获完整目标边界的问题,设计一种多视野精细分析模块并融入通道与空间注意力机制抑制背景噪声的干扰,获取多尺度目标的高分辨率特征。利用随机特征选取模块获取特征图随机位置的组合,聚合多个位置图获取最具辨别性的位置及其它位置的信息,融合浅层生成的类激活图与聚合类激活图获取细粒度位置信息,捕获完整的目标边界。与现有的弱监督定位方法相比,在解决多尺度目标定位效果差和局部最优问题上具有一定的优势。

关键词：弱监督学习目标定位多尺度特征融合注意力机制全局平均池化类激活图正则化

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于深度学习的联邦学习优化算法研究

基于深度学习的联邦学习优化算法研究

作者：刘国正齐鲁工业大学

学位级别：硕士

随着万物互联时代的来临,物联网、大数据和云计算等先进信息技术的迅猛发展造成全球数据量的爆发式增长。然而,传统的机器学习方法依赖于中心化收集和存储数据,容易带来严重的隐私风险。同时,由于行业竞争以及隐私保护法规的实施,导致... 详细信息

随着万物互联时代的来临,物联网、大数据和云计算等先进信息技术的迅猛发展造成全球数据量的爆发式增长。然而,传统的机器学习方法依赖于中心化收集和存储数据,容易带来严重的隐私风险。同时,由于行业竞争以及隐私保护法规的实施,导致数据共享变得极为困难,“数据孤岛”现象普遍存在。在此背景下,联邦学习作为一种保护数据隐私的分布式机器学习方法应时而生,它允许各个客户端在不暴露原始数据的情况下,协作训练一个共享模型。但联邦学习目前仍面临着诸多难题,特别是在数据异构和类不平衡场景下的表现欠佳。此外,半诚实的中央服务器可能会导致数据隐私泄露。为了解决上述问题,本文的主要工作和创新如下:(1)针对联邦学习中的数据异构和类不平衡联合问题,本文提出基于类激活图的类不平衡联邦学习算法Fed GCS。该算法通过利用头类的信息对尾类的特征空间进行扩充和增强,使得客户端上训练数据的分布实现近似类平衡,进而缓解全局和局部类不平衡带来的影响。此外,该算法通过引入尾蒸馏损失,在客户端本地训练过程中进一步保留全局模型中关于尾类的知识,从而减轻本地模型对于头类的偏向。同时,还对本地模型的更新幅度进行一定程度的限制,避免由过多更新导致全局模型不收敛的问题。最后,在具有不同全局类不平衡程度和不同数据异构程度的数据集上对该算法进行实验验证。实验结果表明,Fed GCS能够有效缓解“客户端漂移”现象,并在不牺牲头类性能的前提下改善尾类性能,实现全局模型综合性能的提升。(2)针对联邦学习中的隐私保护问题,本文提出基于条件生成对抗网络的隐私保护联邦学习算法Fed SCG。该算法将每个客户端的本地分类模型分解为私有提取器和公共分类器,并在本地额外训练一个生成器。客户端仅与服务器端共享分类器和生成器,并将直接接触原始数据的提取器保留在本地,从而加强隐私保护。该算法在服务器端使用知识蒸馏聚合各个客户端的分类器和生成器,并在客户端训练过程中将嵌入在全局生成器的共享知识整合到提取器中,来提高分类模型性能。此外,该算法通过省去传统CGAN中判别器的训练步骤,来降低局部计算成本。并且,还在客户端使用生成器对本地数据进行增强,以优化分类器。最后,在IID和Non-IID设置的数据集上对该算法进行实验验证。实验结果表明,Fed SCG在实现具有竞争力的模型性能的同时,也能保持高水平的隐私保护。

关键词：联邦学习类激活图生成对抗网络类不平衡隐私保护

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向幽门螺旋杆菌精细化诊断的关键技术研究

面向幽门螺旋杆菌精细化诊断的关键技术研究

作者：熊一睿南昌大学

学位级别：硕士

现代医学针对幽门螺旋杆菌(Hp)的检测方法如组织活检、免疫组化和呼气试验都存在一定缺陷,这些方法诊断时间较长,有些对病人有伤害,有些诊断结果不准确。针对这些问题,本文运用深度学习技术分析患者的内窥镜图像,提出了一种高效的Hp诊... 详细信息

现代医学针对幽门螺旋杆菌(Hp)的检测方法如组织活检、免疫组化和呼气试验都存在一定缺陷,这些方法诊断时间较长,有些对病人有伤害,有些诊断结果不准确。针对这些问题,本文运用深度学习技术分析患者的内窥镜图像,提出了一种高效的Hp诊断模型,为医生提供一种快速、无创、精确的辅助诊断方法。本文的主要工作内容和贡献如下:(1)构建了一个Hp诊断数据集。本课题组与某著名医院的合作,经过多次数据采集,得到了近三年内接受白光内窥镜检查的患者的图像数据,总数达到了近二十万张,总大小约为280G,其中Hp阳性患者1625人,Hp阴性患者1353人。本文以患者的诊断报告为依据,根据患者的免疫组化结果(阴性/阳性)进行分类,构建了Hp二分类数据集,与其它研究者采用的数据集相比,该数据集数据量更大,覆盖范围更广,解决了Hp分类数据集匮乏的问题。(2)提出了Re-EfficientNetB0以及Re-EfficientNetV2s混合模型。由于内镜图像的特殊性,在自然图像数据集上表现突出的神经网络模型并不一定适用于内镜图像。本文首先通过对比实验分析了如Res Net、Google Net、VIT、Swin-T等经典网络模型在Hp二分类数据集上的表现,选择了综合性能最好的网络模型EfficientNet作为基准模型,确保改进模型达到更好的分类效果。其次,在EfficientNet的基础上,融合了可学习的Resize Model模块,缓解传统Resize方法损失大量图像特征的问题。最终,本文提出的Re-EfficientNetB0模型在准确率、灵敏度以及特异性上分别达到了88.5%,92.1%,83.9%,而ReEfficientNetV2s模型则达到了90.5%,95.2%,84.5%,超过了其他经典模型的分类效果。(3)提出了混合模型DropRe-Effici NetNetB0和DropRe-Effici NetNetV2s。在上一步基础上改进了网络结构,融入DropBlock模块,并使用SGDWM替换SGD优化器,解决模型过拟合问题;同时利用多周期余弦退火策略防止模型陷入局部最优,在保持模型推理速度的同时,大幅度提高了模型的分类效果。最终训练出的DropRe-Effici NetNetB0模型准确率、灵敏度、特异性和预测单张图片的时间分别为96.1%,96.6%,95.5%和37.158毫秒。DropRe-EfficientNetV2s模型为96.5%,98.6%,93.8%和54.010毫秒。(4)对比分析了Grad-CAM与Score-CAM等可视化技术,最终选择GradCAM为本文混合模型生成类激活图,增强模型预测结果的可解释性。本文提出的混合模型配合Grad-CAM能够快速生成类激活图,在Hp辅助诊断任务中具有较高的分类性能和预测速度。为使用内窥镜图像辅助诊断幽门螺旋杆菌提供了新的方案。

关键词：幽门螺旋杆菌 Resize Model 混合模型内窥镜图像类激活图

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于通道相关性的类注意力知识蒸馏

计算机技术与发展 2024年

作者：吴华涛朱子奇武汉科技大学计算机科学与技术学院

以前的知识蒸馏方法在模型压缩上表现出了令人印象深刻的性能，其中在基于类注意力转移的知识蒸馏（CAT-KD）这项工作中证明了通过转移类激活图可以使学生模型获得和增强识别输入分类区域的能力，这种能力是当前主流CNN模型进行分类的... 详细信息

以前的知识蒸馏方法在模型压缩上表现出了令人印象深刻的性能，其中在基于类注意力转移的知识蒸馏（CAT-KD）这项工作中证明了通过转移类激活图可以使学生模型获得和增强识别输入分类区域的能力，这种能力是当前主流CNN模型进行分类的关键。其通过将类激活图平均池化和l2归一化的方式来转移类激活图，从而增强学生模型识别输入分类区域的能力，提高蒸馏性能。然而，这种方式忽略了类激活图中的通道相关的知识，这对于学生模型学习识别输入分类区域的能力至关重要。为了解决上述问题，本文提出了基于通道相关性的类注意力转移方法。具体来说，为了从类激活图中提取丰富的知识，本文方法不仅考虑了样本内的类激活图中不同通道的特征知识，还考虑了不同样本的类激活图中基于每通道特征的关系知识。实验表明，该方法在CIFAR-100数据集上比基准方法提升了0.96个百分点，优于对比方法。

关键词：知识蒸馏通道相关性类激活图通道知识注意力蒸馏