检索结果-南通市图书馆

迭代收缩阈值算法及其在神经网络中的应用研究

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

迭代收缩阈值算法及其在神经网络中的应用研究

作者：王炳哲中国石油大学(北京)

学位级别：硕士

近年来,深度学习在解决计算机视觉、语音识别和自然语言处理等问题上取得了很好的表现。人工神经网络(ANN)是深度学习中的基础数学模型。神经网络训练中的优化算法多数是基于梯度下降,但在训练数据不够多或过度训练时,经常会导致过拟合... 详细信息

近年来,深度学习在解决计算机视觉、语音识别和自然语言处理等问题上取得了很好的表现。人工神经网络(ANN)是深度学习中的基础数学模型。神经网络训练中的优化算法多数是基于梯度下降,但在训练数据不够多或过度训练时,经常会导致过拟合现象的发生。避免过拟合常用的方法是正则化,其中1正则化是在损失函数中累加权值的绝对值之和,这就使损失函数中出现了不可微部分。本研究针对如何训练带有1正则化损失函数的神经网络模型进行了研究,具体工作如下:一、分析了使用1正则化损失函数的神经网络模型中,参数的前向传递和反向传递过程,对如何求解各参数的偏导数做了推导。二、将使用近端算子的迭代收缩阈值算法(ISTA)应用于神经网络模型的训练中。结合批处理技巧,提出了适合神经网络训练使用的随机迭代收缩阈值算法(SISTA),给出了使用随机迭代收缩阈值算法训练神经网络的流程,并证明了算法依次线性速度收敛。三、使用迭代收缩阈值算法求解无约束问题极小值的数值实验和训练神经网络模型的数值实验,并与随机梯度下降算法进行了比较分析。对超参数学习率、正则化系数的选择做了研究。通过实验验证了随机迭代收缩阈值算法在神经网络模型训练中的可行性。总体而言,本文提出的随机迭代收缩阈值算法相较于随机梯度下降法,在一定程度上可以提高神经网络分类的准确率,同时可以较好地抑制过拟合现象。

关键词：迭代收缩阈值算法神经网络正则化近端梯度收缩算子

基于注意力机制和迭代收缩阈值算法的磁共振图像重建

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于注意力机制和迭代收缩阈值算法的磁共振图像重建

作者：闫忠英哈尔滨理工大学

学位级别：硕士

在核磁共振成像(Magnetic Resonance Imaging,MRI)过程中,由于需要逐点逐行的获得数据,这使得患者需要接受长时间扫描,可能会由于运动带来伪影噪声。压缩感知(Compressed Sensing,CS)理论的提出,使得短时、高质量的MRI图像重建变得可能... 详细信息

在核磁共振成像(Magnetic Resonance Imaging,MRI)过程中,由于需要逐点逐行的获得数据,这使得患者需要接受长时间扫描,可能会由于运动带来伪影噪声。压缩感知(Compressed Sensing,CS)理论的提出,使得短时、高质量的MRI图像重建变得可能。传统凸优化算法需要手动设置优化参数、测量矩阵,对不同种类图像适应性较差;常规深度学习网络又对K空间数据中的特征信息提取不足且存在训练稳定性差、模型易崩溃等问题,导致重建精度受限、重建图像质量没有较大的提升。针对上述问题,本文提出一种基于迭代收缩阈值算法(Iterative Shrinkage-Thresholding Algorithm,ISTA)和平滑平均绝对损失(Huber-Loss)的注意力机制CS-MRI网络重构模型。本文的具体研究内容包括:(1)基于ISTA的注意力网络模型设计:利用深度学习网络解决ISTA算法计算复杂的问题,并针对常规深度学习网络对K空间数据中的特征信息提取不足的缺点,设计了SE-ISTANet、SK-ISTANet、CB-ISTANet以及LCB-ISTANet四个基于不同注意力模块的重构模型。在LCB-ISTANet中采用Log-Sum-Exp(LSE)池化和最大池化的双通道注意力机制。与CBAM中的全局平均池化相比,LSE池化可以减少特征细节的丢失,更好的提取各通道的信息,提高重建精度;并且重建的时间没有较大的增加。(2)引入平滑平均绝对误差:引入平滑平均绝对误差(Huber Loss)来代替原始ISTANet的损失函数。相比对称约束的损失函数进行平方运算,平滑平均绝对损失对奇异值不敏感,可以解决ISTANet训练产生局部最优、稳定性差等问题。(3)数据增强和模型迁移实验:采用脑部肿瘤图像对模型进行数据增强和模型迁移,这两种方式可以对模型参数进行调整,从而达到防止模型过拟合的目的;并用正常脑部图像和含肿瘤图像进行测试,进一步对肿瘤图像的添加数量与重建精度的关系进行探究。通过采用MICCAI2013竞赛MRI T1脑部图像和帝国理工大学MRI T1头部图像对四种注意力算法进行测试验证,实验验证表明,本文提出的重建算法与同类的ISTANet、ISTANet及FISTANet相比客观指标和视觉效果均有明显的提升。利用MICCAI2018竞赛MRI T2脑部肿瘤图像按照与正常脑部图像10:1、10:1.5、5:1对图像进行增强和迁移,并采用正常和含肿瘤MRI T1图像分别进行实验验证。实验结果表明,随着肿瘤数据的增多,经迁移后,正常脑部图像的重建结果呈下降的趋势,而肿瘤图像重建结果呈上升趋势;经增强后,正常和肿瘤图像的重建客观指标均呈上升的趋势。

关键词：压缩感知磁共振成像注意力机制迭代收缩阈值算法模型迁移数据增强

基于改进迭代收缩阈值算法的微观3D重建方法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机应用 2018年第8期38卷 2398-2404页

作者：伍秋玉张明新刘永俊郑金龙中国矿业大学计算机科学与技术学院江苏徐州221116 常熟理工学院计算机科学与工程学院江苏常熟215500 东北大学计算机科学与工程学院沈阳110819

迭代收缩阈值算法(ISTA)求解离焦深度恢复动态优化问题时,采用固定迭代步长,导致算法收敛效率不佳,使得重建的微观3D形貌精度不高。为此,提出一种基于加速算子梯度估计和割线线性搜索的方法优化ISTA——FL-ISTA。首先,在每一次迭代中,... 详细信息

迭代收缩阈值算法(ISTA)求解离焦深度恢复动态优化问题时,采用固定迭代步长,导致算法收敛效率不佳,使得重建的微观3D形貌精度不高。为此,提出一种基于加速算子梯度估计和割线线性搜索的方法优化ISTA——FL-ISTA。首先,在每一次迭代中,由当前点和前一个点的线性组合构成加速算子重新进行梯度估计,更新迭代点;其次,为了改变迭代步长固定的限制,引入割线线性搜索,动态确定每次最优迭代步长;最后,将改进的迭代收缩阈值算法用于求解离焦深度恢复动态优化问题,加快算法的收敛速度、提高微观3D形貌重建的精度。在对标准500 nm尺度栅格的深度信息重建实验中,与ISTA、快速ISTA(FISTA)和单调快速ISTA(MFISTA)相比,FL-ISTA收敛速度均有所提升,重建的深度信息值下降了10个百分点,更接近标准500 nm栅格尺度;与ISTA相比,FL-ISTA重建的微观3D形貌均方差(MSE)和平均误差分别下降了18个百分点和40个百分点。实验结果表明,FL-ISTA有效提升了求解离焦深度恢复动态优化问题的收敛速度,提高了微观3D形貌重建的精度。

关键词：微观3D重建离焦深度恢复迭代收缩阈值算法加速算子梯度估计割线线性搜索

在线全文

学校读者我要写书评

暂无评论

一种改进的迭代收缩阈值算法

一种改进的迭代收缩阈值算法

作者：田方彦河北工业大学

学位级别：硕士

快速迭代收缩阈值算法(FISTA)是Amir Beck和Marc Teboulle [SIAM Imaging Sciences,2009,2(1):183-202]基于迭代收缩阈值算法(ISTA)提出的,在解决信号、图像处理中的线性反问题中具有更快的收敛速度.本文是在迭代收缩阈值算法的基础上... 详细信息

快速迭代收缩阈值算法(FISTA)是Amir Beck和Marc Teboulle [SIAM Imaging Sciences,2009,2(1):183-202]基于迭代收缩阈值算法(ISTA)提出的,在解决信号、图像处理中的线性反问题中具有更快的收敛速度.本文是在迭代收缩阈值算法的基础上引入线搜索的思想,改进了原来的迭代收缩阈值算法,并在模糊算子A已知的基础上证明了该算法的全局收敛性.实验结果显示,本文改进的迭代收缩阈值算法不仅在图像处理上得到了比迭代收缩阈值算法和快速迭代收缩阈值算法更清晰的图像,在数据的分析中产生的误差值小于迭代收缩阈值算法和快速迭代收缩阈值算法产生的误差值.

关键词：迭代收缩阈值算法线搜索改进的迭代收缩阈值算法全局收敛性

改进的迭代收缩阈值算法及其在量子状态估计中的应用

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

控制理论与应用 2020年第7期37卷 1667-1672页

作者：丛爽丁娇张坤中国科学技术大学自动化系安徽合肥230027

本文将含有稀疏干扰的量子状态估计问题,转化为考虑量子状态的约束条件下,分别求解密度矩阵的核范数,以及稀疏干扰l1范数的两个子问题的优化问题.针对迭代收缩阈值算法(ISTA)所存在的收敛速度慢的问题,通过在两个子问题的迭代估计中,引... 详细信息

本文将含有稀疏干扰的量子状态估计问题,转化为考虑量子状态的约束条件下,分别求解密度矩阵的核范数,以及稀疏干扰l1范数的两个子问题的优化问题.针对迭代收缩阈值算法(ISTA)所存在的收敛速度慢的问题,通过在两个子问题的迭代估计中,引入一个加速算子,对当前值与前一次值之差进行进一步的补偿,来提高算法的迭代速度(FISTA).并将FISTA算法应用于求解含有稀疏干扰的量子状态估计中.针对5个量子位的状态估计的仿真实验,将FISTA分别与ISTA、交替方向乘子法(ADMM)、不动点方程的ADMM算法(FP-ADMM),以及非精确的ADMM算法(I-ADMM)4种优化算法进行性能对比.实验结果表明,FISTA算法具有更加优越的收敛速度,并且能够得到更小的量子状态估计误差.

关键词：量子状态估计迭代收缩阈值算法加速算子优化算法

在线全文

学校读者我要写书评

暂无评论

一种深度学习的波束空间信道估计算法

计算机工程 2024年第5期50卷 298-305页

作者：郑娟毅张庆珏董嘉豪郭梦月杨溥江西安邮电大学通信与信息工程学院陕西西安710121

在时分双工(TDD)毫米波大规模多输入多输出(MIMO)系统中,因为波束空间信道具有稀疏性,导致将低维测量数据重建为原始高维信道时会带来较高的复杂度。针对上行链路,在不考虑稀疏度的情况下,将传统优化算法和基于数据驱动的深度学习方法... 详细信息

在时分双工(TDD)毫米波大规模多输入多输出(MIMO)系统中,因为波束空间信道具有稀疏性,导致将低维测量数据重建为原始高维信道时会带来较高的复杂度。针对上行链路,在不考虑稀疏度的情况下,将传统优化算法和基于数据驱动的深度学习方法相结合,提出一种改进的基于深度学习的波束空间信道估计算法。从重建过程入手,通过交替建立梯度下降模块(GDM)和近端映射模块(PMM)来构建网络。首先根据SalehValenzuela信道模型进行理论公式推导并生成信道数据;其次构建一个由传统迭代收缩阈值算法(ISTA)的更新步骤所展开的多层网络,并将数据传输到该网络,每层对应于一次类似ISTA的迭代;最后对训练好的模型进行在线测试,恢复出待估计的信道。构建Py Torch环境,将该算法与正交匹配追踪(OMP)算法、近似消息传递(AMP)算法、可学习的近似消息传递(LAMP)算法、高斯混合LAMP(GM-LAMP)算法进行对比,结果表明:在估计精度方面,所提算法相对表现较好的深度学习算法LAMP、GM-LAMP分别提升约3.07和2.61 d B,较传统算法OMP、AMP分别提升约11.12和9.57 d B;在参数量方面,所提算法较LAMP、GM-LAMP分别减少约39%和69%。

关键词：大规模多输入多输出系统稀疏信道估计压缩感知深度学习迭代收缩阈值算法无线通信

同方期刊数据库

基于两步迭代收缩法的多稀疏空间图像快速重构方法

在线全文

学校读者我要写书评

暂无评论

电子器件 2024年第1期47卷 145-150页

作者：许学添郑禹广东司法警官职业学院信息管理系广东广州510520 安徽建筑大学机械与电气工程学院安徽合肥230601

由于多稀疏空间图像重构时,像素范围选取过大、峰值信噪比低以及重构时间长,导致图像重构方法存在重构效果差的问题,提出基于两步迭代收缩法的多稀疏空间图像快速重构方法。明确多稀疏空间图像重构存在的问题,在明确问题后,以迭代收缩... 详细信息

由于多稀疏空间图像重构时,像素范围选取过大、峰值信噪比低以及重构时间长,导致图像重构方法存在重构效果差的问题,提出基于两步迭代收缩法的多稀疏空间图像快速重构方法。明确多稀疏空间图像重构存在的问题,在明确问题后,以迭代收缩阈值算法为基础,引入迭代加权收缩算法,结合每一轮迭代结果作为初值,完成图像重构的两步迭代收缩法设计,实现多稀疏空间图像快速重构。实验结果表明:应用该方法后的重构多稀疏空间图像峰值信噪比达到37.9 dB以上,图像重构时间仅为16.0 ms,图像结构相似性达到了0.98以上,并且重构多稀疏空间图像的效果更好,经过实验分析证实了所提方法具备可行性。

关键词：多稀疏空间图像图像重构两步迭代收缩法迭代加权收缩算法迭代收缩阈值算法

在线全文

学校读者我要写书评

暂无评论

迭代收缩阈值雷达前视成像方法

航空学报 2014年第12期35卷 3384-3391页

作者：焦淑红唐琳齐欢刘学哈尔滨工程大学信息与通信工程学院中国人民解放军92941部队

针对机载多通道雷达的扫描前视成像问题,研究了利用迭代收缩阈值算法实现单个通道前视成像的方法,在此基础上提出一种扩展的多通道迭代收缩阈值算法来解决多通道前视成像问题,在理论上证明其收敛性,并给出加快收敛速度的方法。该算法首... 详细信息

针对机载多通道雷达的扫描前视成像问题,研究了利用迭代收缩阈值算法实现单个通道前视成像的方法,在此基础上提出一种扩展的多通道迭代收缩阈值算法来解决多通道前视成像问题,在理论上证明其收敛性,并给出加快收敛速度的方法。该算法首先通过对各个通道的加权叠加,获得多通道雷达最小均方误差意义下的最优解;然后利用目标的稀疏表示,获得最优解在相应稀疏约束下的稀疏解。理论分析和仿真实验表明,相对于现有扫描雷达前视成像方法,所提方法在算法稳定性、场景复原能力和噪声抑制能力等方面具有明显的优势。

关键词：雷达成像单脉冲雷达反解卷积稀疏约束迭代收缩阈值算法

在线全文

学校读者我要写书评

暂无评论

基于深度展开ISTA网络的混合源定位方法

信号处理 2022年第10期38卷 2082-2091页

作者：苏晓龙户盼鹤刘天鹏彭勃程耘刘振国防科技大学电子科学学院湖南长沙410073

针对嵌套阵列下近场和远场混合源定位问题,本文通过构建和训练深度展开迭代收缩阈值算法(Iterative Shrinkage Thresholding Algorithm,ISTA)网络实现混合源的波达方向(direction of arrival,DOA)和距离参数估计。首先考虑到近场源协方... 详细信息

针对嵌套阵列下近场和远场混合源定位问题,本文通过构建和训练深度展开迭代收缩阈值算法(Iterative Shrinkage Thresholding Algorithm,ISTA)网络实现混合源的波达方向(direction of arrival,DOA)和距离参数估计。首先考虑到近场源协方差矩阵具有Hermitian矩阵形式,远场源协方差矩阵具有Hermitian和Toeplitz矩阵形式,通过将混合源协方差矩阵进行差分可以得到近场源差分向量,其中近场源差分向量转换到实数域,可以显著降低深度展开ISTA网络的计算复杂度。接着将不同参数下的近场源差分向量和近场源真实空间谱进行配对作为训练样本,对近场源深度展开ISTA网络进行训练,其中深度展开ISTA网络的隐藏层对应模型驱动ISTA方法的迭代步骤。然后利用估计出的近场源DOA和距离参数,通过子空间差分方法得到远场源协方差向量。最后将不同参数下的远场源协方差向量和远场源真实空间谱进行配对作为训练样本,对远场源深度展开ISTA网络进行训练,其中远场源协方差向量同样转换到实数域。在深度展开ISTA网络的训练过程中,损失函数只与重构误差和网络输出的稀疏性有关,不需要混合源的标签,可以认为是无监督学习。仿真实验表明所提出的深度展开ISTA网络能够实现混合源识别和定位。此外所提出的深度展开ISTA网络具有可解释参数,对近场和远场混合源的离网格参数估计具有泛化能力。相较于模型驱动ISTA方法,经过训练的深度展开ISTA网络的收敛速度更快,对近场和远场混合源定位的精度更高。

关键词：混合源定位嵌套阵列深度展开网络迭代收缩阈值算法空间谱