检索结果-南通市图书馆

Increasing Momentum-Like Factors:A Method for Reducing Training Errors on Multiple GPUs

Tsinghua Science and Technology 2022年第1期27卷 114-126页

作者： Yu Tang Zhigang Kan Lujia Yin Zhiquan Lai Zhaoning Zhang Linbo Qiao Dongsheng Li Science and Technology on Paralled and Distributed Processing Laboratory and College of Computer Science and TechnologyNational University of Defense TechnologyChangsha 473000China

In distributed training,increasing batch size can improve parallelism,but it can also bring many difficulties to the training process and cause training *** this work,we investigate the occurrence of training errors in theory and train ResNet-50 on CIFAR-10 by using Stochastic Gradient Descent(SGD) and Adaptive moment estimation(Adam) while keeping the total batch size in the parameter server constant and lowering the batch size on each Graphics Processing Unit(GPU).A new method that considers momentum to eliminate training errors in distributed training is *** define a Momentum-like Factor(MF) to represent the influence of former gradients on parameter updates in each ***,we modify the MF values and conduct experiments to explore how different MF values influence the training performance based on SGD,Adam,and Nesterov accelerated *** results reveal that increasing MFs is a reliable method for reducing training errors in distributed *** analysis of convergent conditions in distributed training with consideration of a large batch size and multiple GPUs is presented in this paper.

关键词： multiple Graphics Processing Units(GPUs) batch size training error distributed training momentum-like factors

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于改进Faster R-CNN的肺结节检测

基于改进Faster R-CNN的肺结节检测

引用

作者：范伟康郑州大学

学位级别：硕士

肺癌在我国乃至全球范围内,都是发病率及死亡率最高的恶性肿瘤。其早期的表现形式是直径不超过30mm的肺内圆形或不规则形结节。肺癌的早期诊断与治疗是降低其死亡率的最有效的手段。肺结节检测主要通过CT检查来实现,研究表明,低剂量CT... 详细信息

肺癌在我国乃至全球范围内,都是发病率及死亡率最高的恶性肿瘤。其早期的表现形式是直径不超过30mm的肺内圆形或不规则形结节。肺癌的早期诊断与治疗是降低其死亡率的最有效的手段。肺结节检测主要通过CT检查来实现,研究表明,低剂量CT检查可以有效降低肺癌患者的死亡率。因此,低剂量CT逐渐成为当前主流的肺结节检查工具。深度学习在医学图像领域非常流行,Faster R-CNN是基于深度学习的一种目标检测算法。鉴于此,本文在低剂量二维CT胸部图像下研究基于改进Faster R-CNN的肺结节检测算法。本文的主要工作如下:(1)基于改进Faster R-CNN的肺结节检测为了快速发现数百幅的二维CT胸部图像中肺结节的准确位置,提出一种基于改进Faster R-CNN的肺结节检测方法。首先,采用数据增强技术,扩大数据集,再手工标注数据集。其次,将图片送入加了一层反卷积的VGG16网络提取共享卷积特征。然后,将此共享卷积特征送入区域生成网络(Region Proposal Network,RPN),输出候选结节区域。最后,将根据候选结节区域在原图中所在的位置与背景信息,在共享卷积特征上提取对应候选区域的特征,并将这些候选区域的特征送入感兴趣区域(Region Of Interest,ROI)池化层得到固定大小的候选区域特征图,最后通过全连接层后得到ROI特征向量,将该ROI特征向量送入Softmax分类器和边界回归器,输出该候选结节区域的分类得分以及回归后的边界框,最终得到胸部图像检测结果。针对胸部图像背景复杂、检测对象变化范围大、肺结节的尺寸相比自然物体较小的特点,我们设计了更小的锚框去适应肺结节尺寸的变化。为了得到更好的且能够准确描述肺结节的特征,我们在VGG16网络的最后一层conv5之后添加一个核大小、步幅大小、填充大小和核数量分别是4,4,2和512的反卷积层,与原始特征图相比可以恢复更细粒度的特征度。实验结果表明:改进模型与原始Faster R-CNN模型相比,平均检测准确率提升了6.9个百分点。改进模型能很好地检测出孤立性肺结节和肺壁粘连的肺结节以及小结节,对于肺癌的早期筛查具有一定的临床意义。但改进模型在检测精度上还有可上升的空间,可以进一步对其优化,并减少假阳性率,以提高肺结节的检测准确率。(2)对改进Faster R-CNN的优化针对改进Faster R-CNN模型进行如下优化策略:选出一个最佳的Dropout值,以及最佳的batch size大小。在设置了这两个最佳参数后,在改进的Faster R-CNN网络中加入难分负样本挖掘技术,以提高其检测困难负样本的能力。Dropout能够降低网络的过拟合,增强网络的泛化能力,需要多次调参才能确定最佳Dropout值。batch size值选取的好坏影响着模型的训练速度和精度。难分负样本挖掘被用来提高检测系统中的分类器模块对难分负样本(与结节高度相似,但不是结节。例如血管、气管、支气管等)的分类性能,将其加入到改进Faster R-CNN网络中,用于减少假阳性率,从而提升改进模型的检测精度。经实验验证分析,优化模型的检测精度要好于改进的Faster R-CNN模型,不但进一步降低了假阳性率,而且在数百幅胸部二维CT图像上能快速准确地检出肺结节,为下一步对肺结节的早期诊断和治疗打下了良好的基础。

关键词：低剂量CT 肺结节深度学习 Faster R-CNN 反卷积 Dropout batch size 难分负样本挖掘

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：