检索结果-南通市图书馆

基于ZigBee网络的自适应剪枝能耗均衡路由算法

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

中南民族大学学报（自然科学版） 2017年第2期36卷 129-132页

作者：汪红曾繁迪田莎莎中南民族大学计算机科学学院武汉430074

在ZigBee网络中建立两个节点的通信时,为了既保证路径中总的能量耗费最低,又令路径中不包括剩余能量较少的节点,尽量延长网络的寿命,提出了基于ZigBee网络的自适应剪枝能耗均衡(AP-ECB)路由算法.该算法包括两个改进的策略:自适应剪枝策... 详细信息

在ZigBee网络中建立两个节点的通信时,为了既保证路径中总的能量耗费最低,又令路径中不包括剩余能量较少的节点,尽量延长网络的寿命,提出了基于ZigBee网络的自适应剪枝能耗均衡(AP-ECB)路由算法.该算法包括两个改进的策略:自适应剪枝策略和能耗均衡策略.自适应剪枝策略采用有效的剪枝策略令更多的节点进入休眠状态,节约了能耗;能耗均衡策略规避了将剩余能量较少的节点选入路径,保证了ZigBee网络的可用性.对AODVjr和AP-ECB路由算法进行了仿真验证,结果表明:AP-ECB路由算法选择的路径能耗更少,同时遇到的死亡节点更少.

关键词：路由算法自适应剪枝能耗均衡死亡节点

基于多模态融合和自适应剪枝Transformer的脑肿瘤图像分割算法

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

宁夏大学学报（自然科学版） 2024年第1期45卷 16-24页

作者：姚宗亮黄荣董爱华韩芳王青云东华大学信息科学与技术学院上海201620 东华大学数字化纺织服装技术教育部工程研究中心上海201620 宁夏大学数学统计学院宁夏银川750021 北京航空航天大学动力学与控制系北京100191

脑肿瘤是目前世界上最致命的肿瘤之一,所以脑肿瘤图像的自动分割在临床诊疗中变得日益重要.近年来,基于CNN和Transformer的脑肿瘤分割方法在医学图像分割领域取得了令人欣喜的成就.然而,大多数方法没有充分利用脑肿瘤多模态间的互补性... 详细信息

脑肿瘤是目前世界上最致命的肿瘤之一,所以脑肿瘤图像的自动分割在临床诊疗中变得日益重要.近年来,基于CNN和Transformer的脑肿瘤分割方法在医学图像分割领域取得了令人欣喜的成就.然而,大多数方法没有充分利用脑肿瘤多模态间的互补性和差异性,并且模型中的Transformer在捕获远程依赖性的同时,忽略了其较大的计算复杂性、冗余依赖性等问题.针对此问题,提出一种基于多模态融合和自适应剪枝Transformer的脑肿瘤图像分割方法(MF-MAPT Swin UNETR),其中多模态融合模块可以充分学习性质相近的模态间信息和不同模态不同尺度的特征变化,为后续分割提供了充分的准备;基于多模态的自适应剪枝Transformer可以降低计算复杂度,对提升性能有一定的帮助,将MF-MAPT Swin UNETR模型在两个公共数据集上进行了实验验证,结果表明,该模型较最先进的方法整体具有突出的分割性能.

关键词：脑肿瘤分割 Transformer 模态交叉连接多尺度特征融合 token融合自适应剪枝

面向卷积神经网络的结构化剪枝及优化算法研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

面向卷积神经网络的结构化剪枝及优化算法研究

作者：杨珂中原工学院

学位级别：硕士

卷积神经网络(CNN)以其卓越的性能改变了图像分类、目标检测、视觉跟踪等诸多视觉任务领域。然而,这种性能的提升往往伴随着计算成本的急剧增长和参数量的显著增加,增加了模型的复杂性,提高了训练难度。如何在保持性能的同时降低计算成... 详细信息

卷积神经网络(CNN)以其卓越的性能改变了图像分类、目标检测、视觉跟踪等诸多视觉任务领域。然而,这种性能的提升往往伴随着计算成本的急剧增长和参数量的显著增加,增加了模型的复杂性,提高了训练难度。如何在保持性能的同时降低计算成本和参数量,成为当前卷积神经网络研究的重要挑战。卷积神经网络结构化剪枝并保持原始结构,降低模型复杂度,无需对推理提出额外要求,受到广泛关注,但也存在自适应能力较弱、处理流程相对繁琐和计算复杂度较高等缺点。本文对卷积神经网络的结构化压缩进行了深入研究,具体研究的内容如下:(1)针对剪枝过程对预训练模型依赖、稀疏约束和剪枝后网络精度下降的问题,本文提出了一种基于KL散度和权重优化结构化剪枝算法。首先计算滤波器之间的欧几里得距离,并将其值进行归一化处理,将滤波器间的相对距离转化为概率分布。其次,利用KL散度算法,准确评估每个滤波器的重要性程度,根据各层的剪枝率确定哪些滤波器予以保留,整个过程无稀疏约束条件。最后引入一种基于滤波器权重中位数的权重优化策略,通过计算预训练模型中滤波器权重的中位数并与KL算法剪枝后保留的滤波器权重进行比较,对于权重大于中位数的滤波器,进行倍数增强处理,其余滤波器保持权重不变。该方法在保持剪枝后网络结构化的同时,实现了更细粒度的权重优化,有效解决了对于训练模型的依赖和剪枝后网络性能下降的问题。在各个维度和层次的实验对比和消融实验,证明了该算法在剪枝率和精度平衡条件下的优良性能。(2)针对依赖人工设计以及自动剪枝后网络精度下降的问题,本文提出了一种基于自适应样本滤波器剪枝及优化算法。首先利用亲和力传播聚类算法,将滤波器视为数据点,并基于滤波器之间的相似性自动确定每一层中最重要的滤波器进行保留。避免了传统剪枝方法中繁琐的人工设计过程,实现了剪枝的自适应。针对自动剪枝后网络下降的问题,提出了一种滤波器权重优化技术。该技术能够在保持剪枝模型结构化的同时,以简单且高效的方式对剪枝后的滤波器组中重要的权重进行加强,进一步提高剪枝后网络的性能,使模型精度得到更好的恢复和提升。在多种数据库和模型的实验证明该算法在实现自适应剪枝的同时使剪枝后模型精度进一步提升。(3)针对聚类算法达不到最优子结构而导致剪枝网络精度下降的问题,本文提出了一种基于聚类和网络搜索的深度自适应剪枝算法。该算法结合了AP聚类算法和PSO粒子群优化算法的优点。首先,AP算法通过滤波器间相似度信息的传递,自适应地确定滤波器的样本中心,通过保留样本滤波器实现网络的粗剪枝。随后,运用粒子群优化算法(PSO)对粗剪枝后的网络进行更深层次搜索和优化,找到粗剪枝网络的最优子结构,从而获得原模型最优子网络结构。大量对比试验和消融实验证明本算法在高剪枝率的条件下仍能有效保持网络性能。

关键词：卷积神经网络结构化剪枝滤波器剪枝自适应剪枝

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

深度卷积神经网络的结构化模型压缩方法研究

深度卷积神经网络的结构化模型压缩方法研究

作者：吕连杰扬州大学

学位级别：硕士

近年来,得益于海量数据和强大计算资源的支撑,卷积神经网络(CNN)获得了学者的广泛关注和研究,在许多计算机视觉任务上取得了优秀的性能。然而,CNN的参数规模和训练时间也在急剧增加,这一事实对于部署高性能网络模型的设备提出了更高的... 详细信息

近年来,得益于海量数据和强大计算资源的支撑,卷积神经网络(CNN)获得了学者的广泛关注和研究,在许多计算机视觉任务上取得了优秀的性能。然而,CNN的参数规模和训练时间也在急剧增加,这一事实对于部署高性能网络模型的设备提出了更高的要求。尤其是对于资源受限的嵌入式设备和移动设备而言,这无疑是个巨大挑战。因此,将高性能卷积神经网络压缩到适当的规模,使其能够运行在资源有限的平台上,对于深度学习的发展具有重大意义。结构化模型压缩方法可从结构上对网络模型进行“瘦身”,从而实现网络模型的压缩和推理的加速。在该背景下,本文对深度卷积神经网络的结构化模型压缩相关方法展开研究。主要贡献如下:(1)提出了基于典型相关分析的深度卷积神经网络剪枝方法(CCA-Pr)。现有的结构化剪枝方法大多依赖于“范数越小,越不重要”准则和采用逐层方式来度量滤波器的重要性,前者在应用时未必可靠,后者可能陷入局部最优解。CCA-Pr方法利用CCA技术学习滤波器相对应特征和样本标签的相关性,并结合低维特征的重要度来确定滤波器的剪枝。另外,整体上方法采用了全局迭代剪枝框架。最后在CIFAR-10和Fashion-MNIST数据集上对不同结构的网络进行压缩以验证CCA-Pr方法的性能。(2)提出了基于多角度剪枝标准的自适应剪枝方法(MPC-APM)。该方法首先从滤波器和特征图两个角度进行剪枝标准设计,进而融合两者为混合剪枝标准。总体上,该方法涉及了三个剪枝标准,前两个分别考虑了滤波器信息和特征图信息,第三个则同时考虑滤波器信息和特征图信息。多个角度的剪枝标准保证了剪枝决策的全面性和灵活性,在此基础上利用自适应剪枝策略,在每次迭代剪枝中贪心地选择和网络模型状态相匹配的标准进行剪枝。在CIFAR-10和CIFAR-100标准数据集上对多个网络模型进行实验,结果验证了 MPC-APM的优越性。(3)提出了滤波器完全融合的压缩方法(CFF-CM)。当前剪枝方法中的融合需进行繁杂的人工设计,且无法充分利用所有滤波器之间的关系。本方法对融合方式展开进一步研究和拓展,重点考虑如何对滤波器信息进行融合,而不再探求如何衡量滤波器的重要性/冗余性。该方法将当前卷积层中滤波器进行完全融合以缩窄卷积层的宽度,且可实现与滤波器剪枝相同的网络拓扑结构。另外,本章方法可视为剪枝的一种延伸。最后,实验结果证明了 CFF-CM具有较好的压缩能力,例如在CIFAR-10数据集上,VGG-19参数量和计算量分别减少了 92.12%和67.24%,性能却上升了 0.15个百分点。

关键词：深度卷积神经网络结构化剪枝典型相关分析自适应剪枝神经元融合

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于低秩约束的神经网络模型压缩方法研究

基于低秩约束的神经网络模型压缩方法研究

作者：文嘉天津大学

学位级别：硕士

在21世纪的今天,人工智能蓬勃发展,而神经网络模型技术的逐渐成熟在其中起到了关键性的作用。神经网络模型作为一种特征提取器在多个研究领域都展现出了强大的性能。这主要是因为它对复杂函数有着强大的拟合能力,并且参数越多拟合能力... 详细信息

在21世纪的今天,人工智能蓬勃发展,而神经网络模型技术的逐渐成熟在其中起到了关键性的作用。神经网络模型作为一种特征提取器在多个研究领域都展现出了强大的性能。这主要是因为它对复杂函数有着强大的拟合能力,并且参数越多拟合能力越强。因此网络结构被设计的越来越深、越来越宽。然而,模型的训练和测试不仅要占用非常多的存储空间,还对设备的硬件有较高的要求。这给神经网络模型在边缘端设备上的部署造成了非常大的障碍。因此,神经网络模型压缩这一研究方向在近年来受到了广泛的关注,不仅可以实现参数量的压缩,还可以对模型的推理速度进行加速。本文分别从低秩分解和剪枝两个方向提出了两个新的基于低秩约束的神经网络模型压缩方法,具体介绍如下:1)基于随机张量分解算法的层次压缩框架。该方法首先利用随机投影技术将原始张量投影到一个中间维度,然后再对其进行进一步的低秩张量分解。经过两层的层次压缩可以有效地达到期望的压缩比,同时可以得到一个较为精确的原始张量的低秩近似值。该方法创新性地将随机投影与张量分解方法结合起来,在计算效率和模型性能上达到了一个更好的平衡。此外,借助于随机投影的特性,通过层次的压缩可以去除参数中的噪声,使对含有噪声的参数的压缩变得更加鲁棒。在两个数据集上的实验结果证明了基于随机张量分解算法的层次压缩框架可以取得较好的性能。2)核范数正则引导的自适应剪枝方法。已有的剪枝方法利用l范数衡量滤波器的重要性,但是当范数值分布得很均匀时,剪掉任何一个滤波器都会造成很大的信息丢失。针对此问题,本方法提出在模型训练过程中利用核范数引导参数趋于低秩,使滤波器的范数值之间的方差变得更大。另外,为了解决每层参数的剪枝比例固定不变的问题,提出了剪枝比例动态调整策略,可以随着参数低秩性的变化动态地确定当前的剪枝比例,有利于对模型进行更合理的剪枝。在多个网络上的剪枝结果可以证明该方法相比于其他方法是更加有效的。

关键词：随机张量分解自适应剪枝压缩加速

基于有限状态机的容错QAC及自适应四维网格MAP译码

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于有限状态机的容错QAC及自适应四维网格MAP译码

作者：梁惠华华南理工大学

学位级别：硕士

算术编码是高效的熵编码,其递归区间划分处理造成系统对误码的高敏感性。提高算术编码的抗误码能力是容错熵编码的一大挑战。其中类算术编码（Quasi-Arithmetic Coding,QAC）是一种有限精度的算术编码,含少量冗余。本文重点研究QAC,包括... 详细信息

算术编码是高效的熵编码,其递归区间划分处理造成系统对误码的高敏感性。提高算术编码的抗误码能力是容错熵编码的一大挑战。其中类算术编码（Quasi-Arithmetic Coding,QAC）是一种有限精度的算术编码,含少量冗余。本文重点研究QAC,包括:1) QAC的有限状态机（FSM）实现;2)引入禁用符号的容错QAC;3)基于网格的算术编码MAP译码。本文的主要成果如下: 1、提出了一种新的有限状态QAC实现方法。常规QAC在FSM实现中存在无输出状态,本文通过合并哑转换和跟随转换,简化了FSM模型,使后续的译码处理可以按比特触发MAP译码;2、提出了一种有限状态机下的容错QAC。为了提高容错性能,在有限状态QAC的概率空间划分中引入禁用区间,实现容错QAC。实验结果表明,与常规的QAC相比,误码率下降了12.9%,冗余位数增加了0.201,同时扩散因子下降了13%,容错性能的提高代价是引入了冗余位流。 3、提出了一种自适应剪枝的四维MAP网格。首先,为了在MAP判决中利用FSM的边信息,在网格模型中添加了状态转换数和FSM状态信息约束条件,使网格从二维变为四维;其次,由MAP度量推出阈值的计算公式,阈值可根据路径的估计序列自适应调整,用于译码时的路径生存状态比较,并提早删除不可能路径。实验结果表明,在信噪比为7.5dB的BSC信道下,与硬判决译码相比,误码率下降了17.5%,运行时间下降了70.3%,提高了抗误码性能,降低了时间复杂度。

关键词：类算术编码(QAC) 最大后验概率(MAP) 有限状态机(FSM) 网格自适应剪枝

基于Vision Transformer的图像着色研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Vision Transformer的图像着色研究

作者：李豫港中原工学院

学位级别：硕士

交互式灰度图像着色在计算机视觉领域具有广泛的现实应用场景,越来越成为当下的热门研究领域。其依赖用户提供初始彩色信息,进而将灰度图像转化为彩色图像,具有辅助用户实现个性化着色的能力,在古画修复、黑白照片视频着色、动漫产业线... 详细信息

交互式灰度图像着色在计算机视觉领域具有广泛的现实应用场景,越来越成为当下的热门研究领域。其依赖用户提供初始彩色信息,进而将灰度图像转化为彩色图像,具有辅助用户实现个性化着色的能力,在古画修复、黑白照片视频着色、动漫产业线稿着色等领域具有更丰富的应用和研究价值。随着人工智能和深度学习的发展,图像着色领域也被广泛应用到其中,许多学者开始将神经网络、生成对抗网络,甚至是自然语言处理领域的Transformer引入到图像着色领域。但是大部分深度学习模型依然存在缺失细节信息、边界颜色溢出、区域伪影明显等问题。在众多图像着色课题中,基于Vision Transformer的点交互式着色模型的彩色化结果较为良好,但是本应用与自然语言处理领域的Transformer简单的移植到图像着色领域会造成大量的计算压力,尤其是在交互式着色这种对计算敏感性更高的应用场景中。针对上述分析,本文深入研究了基于Vi T的交互式灰度图像着色方法以及可行的改进策略,分别提出了双重局部自注意力和自适应修建计算层两种Vi T改进模型,可以实现在点交互式图像着色任务中的高效运行。因此,本文在目前最先进的灰度图像彩色化算法的基础上,提出基于Vision Transformer的点交互式着色算法。具体的研究内容与创新点如下:(1)提出基于双重局部自注意力的图像着色算法,引入双重局部自注意力机制,通过结合移位窗口局部自注意力和特征空间局部自注意力,降低了全局自注意力机制的计算复杂度,同时捕捉了局部和远距离特征相似区域之间的联系。提出针对图像着色的聚类指标:为了增强着色质量,更高效的建立各个局部窗口之间的联系,不仅采用滑动窗口的方式捕获图像块之间的空间关联性,还借鉴传统着色方法的数学模型捕获图像块之间的特征关联性。提出了适用于图像着色任务的亮度相似度作为聚类指标,有效地将图像分成不同的局部区域,为后续的特征空间局部自注意力提供更准确的信息。改进模型的层次合并和上采样方式:为了在分层Transformer中保存尽可能多的局部窗口信息,对色块合并模块进行了改进,为了解决DUpsampling上采样所造成的伪影和颜色越界现象,在Transformer和DUpsampling两个模块之间添加一个感受野为3的卷积层作为局部稳定层(local stabilizing layer),以提高上采样结果的颜色平滑度。该方法不仅降低了大量参数量和浮点计算量,而且在多个数据集上表现出优越的着色性能。在对所设计的方法的各项模块同样进行了多样的消融实验,证明了模型设计的有效性。(2)提出基于自适应的图像着色算法。从剪枝冗余计算过程的思路出发,自适应地修剪Vi T计算层。为了实现效率和实时着色的要求,本文使用一个可训练的决策网络来确定在Transformer架构中跳过或保留哪些特定的层。随着决策网络效率的提高,本文的实验表明,该算法能够降低计算成本,同时实现与保持主流最优模型的性能相当。上述两个方法均能够在明显降低计算量的同时保持图像着色的高质量输出,其中第一种方法拥有综合素质更高的着色效率适合普遍的应用场景;而第二种方法在更改模型规模方面有更高的自由度,可根据输入样本的复杂程度变换模型复杂度,易于在特定的交互式场景中发挥作用。

关键词：交互式图像着色 Vision Transformer 局部自注意力自适应剪枝

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

融合频域信息的单图超分辨率重建算法研究

融合频域信息的单图超分辨率重建算法研究

作者：吴洪伟北京交通大学

学位级别：硕士

大数据时代,数字图像在各领域得到越来越广泛应用。例如,在安防、医疗等特殊领域高质量图像对专业人员的判断起着至关重要的作用,在社交媒体、电子商务等领域高质量图像能够给用户提供更好的应用体验。但在现实世界的实际应用中,由于硬... 详细信息

大数据时代,数字图像在各领域得到越来越广泛应用。例如,在安防、医疗等特殊领域高质量图像对专业人员的判断起着至关重要的作用,在社交媒体、电子商务等领域高质量图像能够给用户提供更好的应用体验。但在现实世界的实际应用中,由于硬件设备受到成本、自然环境等因素的影响,导致采集到一些分辨率低、质量差、纹理细节模糊的图像,提高这部分图像质量是一个亟需解决的问题。所以,采用图像超分辨率技术对图像进行高质量重建,以提高不可或缺的丰富细节及可信赖度,对各领域具有非常重要的研究意义和应用价值。本文基于深度学习对图像超分辨率关键技术进行研究,以重建高分辨率的图像纹理细节为研究重点。本文的主要研究内容如下:(1)提出一种融合空频域信息的双流网络超分辨率算法,来提高图像重建精度。由于基于深度学习的超分辨率算法主要在图像空间域上学习非线性映射关系,在图像中边缘、纹理等高频信息占比较小,这使得进入网络的高频信息较少,可学习推理能力弱,导致超分辨的重建图像细节模糊。为此,本文引入图像频域信息,来增强图像高频信息在网络中的学习推理能力。该算法由空域分支和频域分支构成,空域分支网络主要学习图像概貌、轮廓等低频信息,频域分支网络主要学习图像边缘、纹理等高频信息。此外,提出一种频域损失,引导频域分支更专注高频细节特征的学习。实验结果证明,主观评价上重建图像边缘纹理更清晰,客观评价上获得更高的图像重建精度,这验证了本文提出算法的有效性。(2)提出一种自适应信道剪枝的超分辨率算法,来提高图像重建速度。该算法使用权重门机制,以自适应的方式学习频域通道间的相对重要性,在不影响泛化能力的情况下去除贡献度低的通道。该算法有效减小模型规模和计算复杂度,提高运行速度,同时排除冗余频域通道信息的干扰,使网络更高效、专注地学习图像细节信息。实验结果证明,算法不仅有效减小网络规模,而且获得更优的主观和客观评价结果。(3)设计开发图像高质量自动检测超分辨率系统,来提高图像重建效率。该系统使用NIQE算法进行无监督图像质量评价,根据评价结果自动筛选出低质量图像,同时增加人工筛选功能,提高系统图像质量检测的灵活性和可靠性,最后使用本文提出的自适应信道剪枝的超分辨率算法对低质量图像进行图像重建,得到纹理细节清晰的高质量图像。实验结果证明,系统满足工程需求设计,提高效率,降低人工成本。

关键词：图像频域重建纹理细节自适应剪枝自动检测超分辨率系统