检索结果-南通市图书馆

基于自注意力模态融合网络的跨模态行人再识别方法研究

在线全文

学校读者我要写书评

暂无评论

自动化学报 2022年第6期48卷 1457-1468页

作者：杜鹏宋永红张鑫瑶西安交通大学软件学院西安710049 西安交通大学人工智能学院西安710049

行人再识别是实现多目标跨摄像头跟踪的核心技术,该技术能够广泛应用于安防、智能视频监控、刑事侦查等领域.一般的行人再识别问题面临的挑战包括摄像机的低分辨率、行人姿态变化、光照变化、行人检测误差、遮挡等.跨模态行人再识别相... 详细信息

行人再识别是实现多目标跨摄像头跟踪的核心技术,该技术能够广泛应用于安防、智能视频监控、刑事侦查等领域.一般的行人再识别问题面临的挑战包括摄像机的低分辨率、行人姿态变化、光照变化、行人检测误差、遮挡等.跨模态行人再识别相比于一般的行人再识别问题增加了相同行人不同模态的变化.针对跨模态行人再识别中存在的模态变化问题,本文提出了一种自注意力模态融合网络.首先是利用cyclegan生成跨模态图像.在得到了跨模态图像后利用跨模态学习网络同时学习两种模态图像特征,对于原始数据集中的图像利用SoftMax损失进行有监督的训练,对生成的跨模态图像利用LSR (Label smooth regularization)损失进行有监督的训练.之后,使用自注意力模块将原始图像和cyclegan生成的图像进行区分,自动地对跨模态学习网络的特征在通道层面进行筛选.最后利用模态融合模块将两种筛选后的特征进行融合.通过在跨模态数据集SYSU-MM01上的实验证明了本文提出的方法和跨模态行人再识别其他方法相比有一定程度的性能提升.

关键词：跨模态行人再识别自注意力跨模态融合 cyclegan

维普期刊数据库博看期刊

在线全文

学校读者我要写书评

暂无评论

面向样本扩充的新型风格迁移网络研究

计算机工程与应用 2023年第1期59卷 228-235页

作者：田敏刘名果陈立家韩宗桓兰天翔梁倩河南大学物理与电子学院河南开封475000

全监督语义分割网络在训练时需要耗费大量的人力与时间成本来标注样本。所以减少人工标注样本的时间,同时提升语义分割效果,对于深度学习网络的快速部署和应用推广具有重要意义。提出一种基于改进图像风格迁移网络(cyclegan-AD)的样本... 详细信息

全监督语义分割网络在训练时需要耗费大量的人力与时间成本来标注样本。所以减少人工标注样本的时间,同时提升语义分割效果,对于深度学习网络的快速部署和应用推广具有重要意义。提出一种基于改进图像风格迁移网络(cyclegan-AD)的样本扩充方法。以cyclegan为基础,在生成器中引入注意力机制并将深度残差网络改为密集连接卷积网络。利用计算机批量产生自带标签的模拟样本,使用cyclegan-AD网络将模拟样本风格迁移成为真实样本风格(标签不变),并用于扩充训练样本。对石墨电极的钢印字符进行语义分割的实验结果表明,采用cyclegan-AD网络进行样本扩充后,其分割效果得到显著提升,MIoU值最高升至0.8260。可见,提出的样本扩充方法有希望在显著减少人工标注工作量的同时,获得高质量的训练样本。

关键词：语义分割样本扩充 cyclegan 风格迁移

在线全文

学校读者我要写书评

暂无评论

深度学习在危险天气自动识别中的应用研究

安全与环境学报 2023年第3期23卷 774-782页

作者：夏景明麻学岚谈玲宣大伟南京信息工程大学人工智能学院南京210044 南京信息工程大学计算机学院网络空间安全学院南京210044

基于机器视觉的危险天气自动识别技术近年来已成为研究热点,但模型识别准确率不高和模型不够轻量化是该项技术面临的主要问题。针对上述问题,提出了一种利用cyclegan网络自动扩展危险天气数据集的方法,有效解决了数据集数据量不足、数... 详细信息

基于机器视觉的危险天气自动识别技术近年来已成为研究热点,但模型识别准确率不高和模型不够轻量化是该项技术面临的主要问题。针对上述问题,提出了一种利用cyclegan网络自动扩展危险天气数据集的方法,有效解决了数据集数据量不足、数据类型不平衡的问题。同时,还提出了一种三通道融合卷积神经网络(3-Channel Convolutional Neural Network,3C-CNN),该网络主干分支采用迁移学习的技术方案,并利用多分支结构提取并融合天气图像中的整体与局部特征。结果表明,利用cyclegan网络扩充的WeatherDataset-6Plus数据集能够有效改善深度学习模型的训练性能,3C-CNN模型的6类天气现象综合识别准确率达到了98.99%,识别速度达到220帧/s。该方法在保证准确率的同时实现了模型的轻量化,有利于其在嵌入式设备中部署。

关键词：安全工程危险天气自动驾驶 cyclegan 迁移学习轻量化

基于改进YOLOv5s的铸坯表面缺陷检测系统

在线全文

学校读者我要写书评

暂无评论

仪表技术与传感器 2023年第10期 72-78页

作者：邓能辉周秉国张志杰石杰吴昆鹏北京科技大学国家板带生产先进装备工程技术研究中心北京100083 北京科技大学设计研究院有限公司北京100083 六安钢铁控股集团有限公司安徽六安237400

针对目前连铸坯表面缺陷检测方法存在检测准确率和效率低的问题,提出了一种基于改进YOLOv5s的连铸坯表面缺陷检测系统。首先,基于cyclegan的域迁移能力和冷轧样本集实现铸坯复杂背景的简单化。其次,利用Ghost网络和GhostBottleneck重新... 详细信息

针对目前连铸坯表面缺陷检测方法存在检测准确率和效率低的问题,提出了一种基于改进YOLOv5s的连铸坯表面缺陷检测系统。首先,基于cyclegan的域迁移能力和冷轧样本集实现铸坯复杂背景的简单化。其次,利用Ghost网络和GhostBottleneck重新构建YOLOv5s的特征提取骨架以达到轻量化网络结构提高检测速度的目的。最后,在YOLOv5s颈部模块中嵌入SE注意力机制以提升缺陷关键信息捕捉能力,从而提高检测准确率。实验结果表明,改进YOLOv5s在铸坯表面图像数据集上mAP指标达到93.6%,相较于原始的YOLOv5s,mAP指标提升了2.9%,计算量降低了2.5 FLOPs。能够满足铸坯表面缺陷检测系统的实时要求及准确率指标,并且降低了部署所需的计算资源。

关键词：铸坯缺陷检测 cyclegan YOLOv5s Ghost GhostBottleneck SE注意力机制

结合伪MRI信息的腹部CT危及器官自动勾画

在线全文

学校读者我要写书评

暂无评论

中国医学物理学杂志 2022年第2期39卷 203-208页

作者：孟祥银吴香奕彭昭徐榭裴曦中国科学技术大学核科学技术学院安徽合肥230026 安徽慧软科技有限公司安徽合肥230088

目的:结合伪MRI(sMRI)软组织信息,提出新的腹部器官自动勾画模型,改进CT软组织的勾画效果。方法:使用两个独立的深度神经网络分步完成病人腹部危及器官的自动勾画。首先,基于cyclegan网络构建由CT图像转换sMRI图像的模型,采用去噪判别... 详细信息

目的:结合伪MRI(sMRI)软组织信息,提出新的腹部器官自动勾画模型,改进CT软组织的勾画效果。方法:使用两个独立的深度神经网络分步完成病人腹部危及器官的自动勾画。首先,基于cyclegan网络构建由CT图像转换sMRI图像的模型,采用去噪判别器等改进方法,得到器官轮廓一致的高清晰度sMRI。其次,使用sMRI与手工勾画信息训练自动勾画模型ResidualU-Net,在CT和sMRI上分别自动勾画危及器官轮廓,ResidualU-Net的残差模块能够充分利用提取到的特征来区分不同的器官。采用戴斯相似性系数(DSC)作为自动勾画模型分割精度的评价标准,35例宫颈癌与35例前列腺癌患者用于自动勾画模型的训练和评估。结果:结合sMRI信息的自动勾画模型在直肠、膀胱、左右股骨头的平均DSC分别为0.779±0.021、0.944±0.006、0.834±0.006、0.845±0.021。结论:使用结合sMRI信息的腹部CT自动勾画方法,可以在直肠获得更精确的自动勾画结果。

关键词：伪MRI cyclegan 腹部自动勾画

在线全文

学校读者我要写书评

暂无评论

基于多视图几何约束的高光去除算法研究

基于多视图几何约束的高光去除算法研究

作者：郭圣逸武汉纺织大学

学位级别：硕士

镜面高光反射现象是指光线在镜面物体表面发生镜面反射,从而在采集到的图像中产生高光等现象。这些高光会影响许多视觉任务的精度,因此如何去除图片中的高光区域是计算机视觉领域一个重要的问题。近年来,随着卷积神经网络等深度学习方... 详细信息

镜面高光反射现象是指光线在镜面物体表面发生镜面反射,从而在采集到的图像中产生高光等现象。这些高光会影响许多视觉任务的精度,因此如何去除图片中的高光区域是计算机视觉领域一个重要的问题。近年来,随着卷积神经网络等深度学习方法在图像领域的兴起,可以通过大量的镜面反射-漫反射配对数据,有监督的训练网络从而实现图像表面高光去除任务。然而,与许多有监督的视觉任务不同的是,我们很难获取大量的配对数据集。为了解决这个问题,我们可以使用对偶生成对抗网络,例如cyclegan等,利用非配对数据集训练网络。本文基于经典的cyclegan框架,提出了一种基于多视图几何一致性约束的高光去除方法,主要研究内容包含了如下两个方面:(1)cyclegan是对图像整体风格的迁移,对于去高光任务而言,背景会影响前景物体去高光的效果。因此本文基于卷积注意力模块的U-Net网络对图像进行预处理分割,将图像中的前景物体单独分割出来,使风格迁移网络仅作用于前景物体。实验结果显示,在金属图像分割数据集上,本文所提出的方法平均交并比为90.8561,在石膏图像分割数据集上,本文所提出的方法平均交并比为90.1896,取得了较好的分割效果。(2)cyclegan网络缺乏对图像的多视角信息的利用,它的学习对象是两个域之间的转换关系,无法处理输入为多视角序列图像的情况。因此本文提出了几何一致性损失函数,衡量每个多视角图像的可信度,充分利用图像的多视角信息保证生成的图像纹理具有一致性。具体来说,我们引入了可微分渲染器学习图形的多视角信息,从3D的角度构建图像的形成过程。实验结果显示,在金属-石膏风格迁移数据集上,使用本文方法生成的石膏图片与原石膏图片结构相似性指标为0.9085,峰值信噪比指标为26.9568,提高了图像转换的精度。

关键词：生成对抗网络 cyclegan 注意力机制 U-Net 可微分渲染

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于动态结构光的自动上料技术研究

基于动态结构光的自动上料技术研究

作者：王利红杭州电子科技大学

学位级别：硕士

随着科技的日益发展,当前制造业的自动化正朝着更智能、更精确、更高效的方向发展。但在实际的生产过程中,生产线的自动上料过程仍难以实现完全自动化,这是因为加工零件在上料之前往往是随机散乱摆放的,无法通过预先编码定位的方式完成... 详细信息

随着科技的日益发展,当前制造业的自动化正朝着更智能、更精确、更高效的方向发展。但在实际的生产过程中,生产线的自动上料过程仍难以实现完全自动化,这是因为加工零件在上料之前往往是随机散乱摆放的,无法通过预先编码定位的方式完成上料工作。面对这一问题,基于视觉引导的自动上料系统是当前主流的解决方案,然而在实际工厂环境下,基于视觉的自动上料系统仍受到工作环境光线明暗不一、背景复杂等干扰因素的挑战。基于上述现状及痛点,本文对工业制造场景中动态工件的三维重建和位姿估计等自动上料相关技术进行了研究,主要贡献如下:(1)针对工业制造场景中动态工件三维重建问题,提出了适应随机相移步长的动态结构光三维重建方法。该方法首先利用一幅结构光正弦光栅图案配合传输带上沿条纹垂直方向运动的工件实现相对相移。其次,为了解决由于传送带等机械装置受到外部震动、电磁辐射等干扰因素而导致相移步长不均匀的问题,该方法提出基于RPSNet的动态结构光三维重建模型,该模型以Cycle GAN网络模型为基础,使用本文提出的AIR2U-net模型作为生成器,多层卷积神经网络CNN作为判别器,实现光栅图向深度图的转换。最后,针对网络模型需要大量数据进行训练而实际工业场景中数据难以采集的问题,本文使用Thing10k数据集和Blender仿真软件制作的数据集进行模型训练。最终实现了工件较高质量的三维重建。(2)针对工业制造场景中工件的位姿估计问题,提出了基于点云配准的位姿估计方法。该方法将上述三维重建方法得到的工件点云数据和预先创建的工件模板点云数据进行点云配准,从而得到位姿关系。具体而言,两份点云数据首先使用本文提出的RPT模块进行点云的特征提取,得到点云的特征描述符后使用反向LK算法计算两个点云之间的变换矩阵,进而根据得到模板点云的位姿得到源点云的位姿数据。通过在公开数据集以及真实生产场景的数据集上与主流方法进行对比,实验结果表明,本文提出以上方法在动态场景的测量下有着优异表现。将上述方法在实际工业制造场景的上料过程进行试验,最终验证了本文提出方法的有效性。

关键词：自动上料三维重建位姿估计 cyclegan 随机相移步长

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的人脸表情识别模型设计与实现

基于深度学习的人脸表情识别模型设计与实现

作者：刘宁青岛科技大学

学位级别：硕士

在人与人的交流中,面部表情传递的信息占很大比例,人脸表情识别作为人工智能的重要技术之一,在众多领域中都发挥着重要的作用,比如在医学领域辅助医护人员治疗抑郁症,在安全驾驶领域对司机师傅进行安全预警等。本文通过研究深度学习方... 详细信息

在人与人的交流中,面部表情传递的信息占很大比例,人脸表情识别作为人工智能的重要技术之一,在众多领域中都发挥着重要的作用,比如在医学领域辅助医护人员治疗抑郁症,在安全驾驶领域对司机师傅进行安全预警等。本文通过研究深度学习方法设计人脸表情识别模型,旨在完成精准高效的人脸表情识别任务。本文的主要研究内容如下:(1)针对CNN池化层丢失特征以及胶囊网络自身卷积层特征提取不足的问题,提出一种用Res Net18改进胶囊网络的人脸表情识别模型。该模型仅保留Res Net18的卷积层,并对四个残差块进行不同程度的改进,然后融入注意力机制,用其替换胶囊网络的单卷积层来提取表情特征,最后将提取的特征送入胶囊网络,由初始胶囊层学习特征,数字胶囊层进行分类。本文所设计的模型在CK+、RAFdb和FER+三个数据集上进行了实验。实验结果表明,该模型在人脸表情识别方面具有可行性和有效性。(2)针对人脸表情数据集中各类表情数据量不平衡导致的识别精度差距大的问题,提出采用cyclegan进行数据增强来对数据集各类表情进行平衡化处理,并在CK+和RAF-db数据集上进行实验。鉴于两个数据集中均是开心表情的样本最多,因此将开心表情作为源域数据,其它六类表情数据分别作为目标域数据得到了六个模型,然后生成各类表情。最后,将数据平衡化后的RAF-db数据集在所提出的网络上进行实验。实验结果表明,数据平衡化可以有效缓解各类表情识别精度差距大的问题。(3)针对前述设计的表情识别模型参数量多的问题,采用一种传统的通道剪枝方法压缩模型。该方法是对训练好的模型进行剪枝,首先用L2范数对所有的通道进行打分,然后设置剪枝比重,通过各个通道的得分情况分多次进行剪枝,并且每次剪枝后都会重新训练模型,最后再对剪枝模型进行微调得到最终的模型。实验结果表明,该方法可以以较小精度损失为代价有效减小模型尺寸。(4)针对前述设计的表情识别模型单次迭代训练速度慢的问题,提出一种基于注意力机制的初始化通道剪枝方法。该方法是基于SENet通道注意力机制模块进行剪枝,在训练过程中,通道注意力机制可以根据各个通道的重要性来赋予各通道不同的权重,因此可以根据权重的大小配合剪枝模块对通道进行有效的删减。实验结果表明,该方法可以大幅度缩短模型训练时间。

关键词：人脸表情识别胶囊网络卷积神经网络 cyclegan 通道剪枝

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的轮胎带束层X光图像三维重建

基于深度学习的轮胎带束层X光图像三维重建

作者：闫明明沈阳理工大学

学位级别：硕士

汽车在道路上行驶的过程中,轮胎的质量对于保障交通安全有着至关重要的作用,因此在轮胎出厂之前需要对轮胎的质量进行严格的检测。目前国内汽车广泛使用的轮胎为子午线轮胎,应用的轮胎缺陷检测方法为基于X射线成像的轮胎缺陷检测技术。... 详细信息

汽车在道路上行驶的过程中,轮胎的质量对于保障交通安全有着至关重要的作用,因此在轮胎出厂之前需要对轮胎的质量进行严格的检测。目前国内汽车广泛使用的轮胎为子午线轮胎,应用的轮胎缺陷检测方法为基于X射线成像的轮胎缺陷检测技术。在众多基于不同理论的子午线轮胎缺陷检测算法中存在一个共同的问题,即对于子午线轮胎钢丝结构为单层分布的胎侧部分检测效果较好,而对于钢丝结构为多层叠加分布的带束层部分检测效果较差。这种情况出现的原因在于轮胎带束层部分的材料厚度及密度均大于胎侧部分且钢丝结构更为复杂。针对上述轮胎缺陷检测中存在的问题,本文使用基于深度学习的算法对轮胎带束层X光图像进行三维重建,具体工作内容如下:(1)对轮胎缺陷检测技术、带束层缺陷检测技术以及三维重建的国内外研究现状进行概述,从传统算法到近年来基于深度学习的算法两方面对算法模型进行介绍。结合轮胎带束层缺陷检测以及一般三维重建算法的特点,引入基于无监督学习的轮胎带束层X光图三维重建的算法。(2)对从各轮胎厂采集的轮胎X光图片选取适合带束层区域三维重建的图片进行降噪处理,根据带束层区域钢丝的结构分为横向钢丝以及斜向钢丝两部分,选取合适的区域进行滑动裁剪,用Open CV生成斜线部分钢丝并添加适量的噪声以防止样本的单一性,为带束层三维重建实验提供了数据基础。(3)选取DiscoGAN对自制轮胎数据集进行实验,通过对原网络的结构及理论进行分析,针对本实验数据样本个体特异性比较强的特点,对网络的特征归一化层进行改进,用更适合风格转换的IN层替换BN层,改善了生成图像钢丝结构交叉的现象,提升了模型对于带束层重建的效果。(4)针对改进后的DiscoGAN算法在带束层X光图像三维重建仍然存在的问题,引入特征提取能力更强的的无监督学习模型cyclegan进行实验,使用对异常值更加敏感的L2范数替换L1范数作为循环一致损失函数;并对循环一致损失系数进行调整以适合带束层X光图像样本纹理性强的特点。通过对不同倾斜程度以及不同清晰度的钢丝X光图像进行对比实验,选取最合适的循环一致损失函数以及系数。引入SSIM作为定量的评价指标来验证对于算法改进的提升效果。改进后的cyclegan模型可以较好地完成对于各种角度及图片灰度的轮胎带束层X光图的重建工作,结构相似性最大提升0.26。证明选取的方法以及改进是合理且对轮胎带束层X光图像三维重建有良好的效果。

关键词：三维重建 cyclegan 神经网络轮胎检测