检索结果-南通市图书馆

低秩张量填充算法研究及在多维数据填充中的应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

低秩张量填充算法研究及在多维数据填充中的应用

作者：李灵伟上海交通大学

学位级别：硕士

通过含有噪声甚至是缺失的观测数据来恢复原始数据,一直以来都是计算机视觉、数据挖掘等领域中的一个重要且具有挑战性的任务。传统的数据填充方法通常将数据保存成矩阵的形式,然后通过基于核范数最小化的模型进行利用凸优化的常用方法... 详细信息

通过含有噪声甚至是缺失的观测数据来恢复原始数据,一直以来都是计算机视觉、数据挖掘等领域中的一个重要且具有挑战性的任务。传统的数据填充方法通常将数据保存成矩阵的形式,然后通过基于核范数最小化的模型进行利用凸优化的常用方法求解。而随着当前多媒体数据在数量和维度上的增长,传统的矩阵表示和处理数据的方法存在其理论上的局限性,因为这一类方法无法有效地保留数据的空间结构特征。近期,由于其在保留数据空间结构等方面的有效性,张量这一高维的数据结构引起了很大关注。诸多学者提出了基于低秩张量填充的数据恢复算法,并且成功应用到了各种领域中。然而,已有的大多数算法在对张量进行低秩填充时,对于每个维度的考量标准是相同的而没有与真实数据本身的低秩特性相结合。在本文中,我们对不同真实数据每个维度上秩的分布特性做了一个详细的分析,并且设计了一种简单而有有效的低秩张量填充算法。该算法能够准确地结合真实数据每个维度上的本质结构,同时减小了运算的复杂度。此外,考虑到真实数据空间结构上局的部平滑性和连续性,我们还在模型中引入了全变分算子。考虑到低秩张量填充的两种基本形式,即张量展开以及张量分解形式,针对对于张量秩估计方式的不同,我们对两种形式分别提出了数据填充模型并给出基于增广拉格朗日乘子法的求解。另外,我们还引入了一种张量秩的非凸近似,相比于核范数该非凸近似能够更加准确地估计张量的秩。最后我们针对于不同的高维数据应用场景,分别在彩色图像、多谱图像和灰度视频数据集上验证了模型和算法,并且与当前主流的算法相比较证明了所提模型有有效性。

关键词：低秩张量填充非凸秩近似张量分解全变分算子

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

低秩张量填充及降噪模型的彩色图像复原方法

赣南师范大学学报 2023年第3期44卷 62-69页

作者：龚成坚闫作剑何静蔡雄江方新成赣南师范大学物理与电子信息学院江西赣州341000 国防科学技术大学信息系统与管理学院长沙430100

现有大多数彩色图像去噪方法分开处理输入图像的彩色通道,利用张量挖掘通道间的相关性,补全带有缺失的彩色图像以及图像去噪.从少部分观测项中恢复一个低秩张量,并且对存在于图像中的各类噪声针对性的去除.对广泛分布于多维成像数据中... 详细信息

现有大多数彩色图像去噪方法分开处理输入图像的彩色通道,利用张量挖掘通道间的相关性,补全带有缺失的彩色图像以及图像去噪.从少部分观测项中恢复一个低秩张量,并且对存在于图像中的各类噪声针对性的去除.对广泛分布于多维成像数据中的非局部自相似性以及稀疏线性逼近中的相似斑块进行分组,通过使用即插即用框架将两者结合.文章提出一种适用于即插即用框架下用块对角表示的张量填充去噪方法,使用去噪算法作为基于模型反演的先验.将全局截断奇异值分解与局部鲁棒主成分分析结合,能够利用更多空间信息,附带不完整信息且含噪声的图像能够完整复原.实验显示使用块对角去噪方式比其他去噪方式在峰值信噪比及结构相似指数上皆有提升,证明该方法是一种精确度较高的方法.

关键词：低秩张量填充彩色图像去噪非局部方法块对角表示

维普期刊数据库博看期刊

同方期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

分解策略下的低秩张量填充算法研究

分解策略下的低秩张量填充算法研究

作者：张子长赣南师范大学

学位级别：硕士

随着计算机科学与技术的快速发展,人们获取的数据规模越来越大,结构愈加复杂。然而,在现实生活中,数据从收集到表示的过程往往会面临信息缺失和噪声污染的问题。因此,这些海量数据的填充和恢复等问题,成为计算机视觉和数据挖掘等领域的... 详细信息

随着计算机科学与技术的快速发展,人们获取的数据规模越来越大,结构愈加复杂。然而,在现实生活中,数据从收集到表示的过程往往会面临信息缺失和噪声污染的问题。因此,这些海量数据的填充和恢复等问题,成为计算机视觉和数据挖掘等领域的一个研究热点。本文将在分解策略下对低秩张量填充问题的模型、算法进行研究,具体内容如下:在第一章绪论部分,首先介绍矩阵填充和张量填充问题的研究背景与意义,并阐述该问题在国内外的研究历史、现状和发展趋势。在第二章中介绍张量相关知识,同时给出后续将用到的相关数学概念和理论知识,即投影算子、邻近算子与即插即用框架等,以及秩估计策略。在第三章中,为避免因计算奇异值分解而算法代价高的问题,设计了一类基于张量分解策略的低秩张量填充算法。首先基于LMafit模型的思想,结合低秩张量分解(TCTF),将一个大张量分解为两个更小的张量乘积的形式,提出一种低秩张量填充模型(LTefit);接着设计交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)算法求解,采用秩减策略估计张量的秩;并利用KKT条件,证明算法的收敛性;最后通过数值实验表明该方法具有可行性和有效性。第四章讨论基于低秩张量分解和数据非局部自相似的张量填充问题在图像恢复中的应用。目前,由于大多数张量填充模型是基于张量Tucker分解提出,而Tucker分解在分解过程中会破坏数据的内部结构,导致恢复性能下降。因此,本章通过t-积相关知识,借助低秩张量分解策略(TCTF),结合数据的非局部自相似性,建立低秩张量填充模型(NLS-TF),并设计块逐次上界极小化算法(Block Successive Upper-bound Minimization,BSUM)算法求解该模型。大量实验结果表明该算法收敛,且具有良好的恢复效果。

关键词：低秩张量填充张量分解交替方向乘子法块逐次上界极小化算法即插即用框架

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

双因子张量范数正则化低秩张量填充

双因子张量范数正则化低秩张量填充

作者：李鸿燕辽宁师范大学

学位级别：硕士

随着信息技术的迅速发展,海量数据蕴含的巨大价值吸引了研究者的关注。在实际场景中,由于传感器的故障,不当的人类操作和遮挡等,数据很少是完整的。如何有效地恢复数据,已经成为机器学习和计算机视觉研究的热点。对于低秩张量填充问题,... 详细信息

随着信息技术的迅速发展,海量数据蕴含的巨大价值吸引了研究者的关注。在实际场景中,由于传感器的故障,不当的人类操作和遮挡等,数据很少是完整的。如何有效地恢复数据,已经成为机器学习和计算机视觉研究的热点。对于低秩张量填充问题,研究者基于不同的张量分解定义了不同的张量秩,如CP秩和tub al秩等。低tub al秩引起了广泛的关注,主要原因是低tub al秩张量模型和低秩矩阵模型具有相似的代数结构,许多基于矩阵的代数理论可以直接扩展到张量。基于低tubal秩的张量核范数在张量填充方面取得了显著的效果。张量的核范数有两个缺点:1)强制所有奇异值被平等对待,并使用相同的阈值进行收缩,过度惩罚较大的奇异值;2)大尺度张量的奇异值分解计算复杂度高。针对上述问题的缺点,建立了一个新的模型-因子张量范数正则化低秩张量填充模型,并且给出了张量双l2,1范数和张量l2,1范数与Frobenius范数混合范数的定义,采用变换域张量的前片矩阵的非零列数逼近矩阵的低秩结构,分别证明了双l2,1范数等价于Schatten-p范数(p=1/2),l2,1范数与Frobenius范数混合范数等价于Schatten-p范数(p=2/3)。该模型继承了张量因子分解和Schatten-p范数的优点,避免了等距收缩和过度惩罚的问题。将原始张量分解为两个小尺度张量的张量积,这种方法降低了算法的时间复杂度。采用线性化交替方向法求解模型,并且从理论上分析了该方法的收敛性。综合实验表明,该方法在合成数据集和真实数据集上都达到了更优的性能。

关键词：低秩张量填充 Schatten-p范数因子张量范数

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于张量分解的多源张量填充算法研究

基于张量分解的多源张量填充算法研究

作者：李兴飞杭州电子科技大学

学位级别：硕士

随着信息技术的飞速发展,数据的规模和维度也在爆炸性增长。张量作为向量和矩阵的高阶推广,可以更直观地表示高维度数据的结构性,并保持原始数据的内在关系。基于低秩张量填充的研究在很多领域受到了广泛的关注,如数据挖掘、数值分析、... 详细信息

随着信息技术的飞速发展,数据的规模和维度也在爆炸性增长。张量作为向量和矩阵的高阶推广,可以更直观地表示高维度数据的结构性,并保持原始数据的内在关系。基于低秩张量填充的研究在很多领域受到了广泛的关注,如数据挖掘、数值分析、图像处理、信号处理、计算机视觉等。现有的张量填充方法多在低秩假设的前提下对单个张量进行的。当张量数据结构非常复杂或者缺失比例非常高时,单个张量填充的准确率会受到很大的影响。利用辅助信息联合分解来自多个数据源的数据可以提高缺失值填充的准确率。当多源张量间在某个模式上有耦合关系时,传统方法认为数据间在该模式上的因子矩阵完全共享,并基于共享因子矩阵进行建模。然而,现实中很多数据间可能具有更加复杂的共享关系,甚至它们之间没有模式耦合,但数据间具有极高的相关性。针对这些情况本文做了以下两点工作:其一,本文针对张量数据间在耦合模式上共享部分因子矩阵的情况,提出了部分共享的联合张量分解(CTF-PSF)的填充方法。该方法分别对数据共享部分和非共享部分进行独立优化。分别通过联合分解模型和独立分解模型对共享部分和非共享部分交替拟合。实验结果显示该方法可以实现提高张量填充的准确率,并以较低的参数空间获得较好的填充精度的目的。其二,本文针对多源张量数据间在耦合模式上存在的其他共享关系的情况,如近似共享,提出了通过软约束共享因子的多源张量填充算法(AMTC-SCSF)模型。该模型同样适用于多源张量数据间不存在模式耦合,但数据间具有极高相关性的情况。此外,相比传统模型,本文通过对目标函数加入误差权重解决了由于多源数据中可观测值不均衡而影响填充精度的问题,并通过约束传递的方式将软约束模型扩展为多个数据源与多个共享矩阵的情况。实验结果展现了该模型的准确性、可行性、有效性。

关键词：缺失填补张量分解低秩张量填充联合张量分解多源张量填充

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于正则化方法的张量填充模型

基于正则化方法的张量填充模型

作者：高尚奇武汉大学

学位级别：硕士

首先,通过核范数与低秩矩阵分解相结合,我们提出了一种混合张量填充模型.为了求解该模型,我们提出了两种算法,即非光滑低秩张量填充(NS-LRTC)和光滑低秩张量填充(S-LRTC).当采样率(SR)比较高的时候,真实数据的实验表明,NS-LRTC算法在运... 详细信息

首先,通过核范数与低秩矩阵分解相结合,我们提出了一种混合张量填充模型.为了求解该模型,我们提出了两种算法,即非光滑低秩张量填充(NS-LRTC)和光滑低秩张量填充(S-LRTC).当采样率(SR)比较高的时候,真实数据的实验表明,NS-LRTC算法在运行时间和恢复质量上比传统方法好.此外,不管采样率是多少,我们提出的S-LRTC算法在张量填充中总是优于传统方法.虽然模型中目标函数是非凸非光滑的,我们依旧证明了由这两种算法产生的序列的聚点是目标函数的稳定点.然后,我们为非平衡张量提出了一种新的矩阵化框架,该框架简称为BS.为了实现该框架,我们基于正交匹配追踪的思想提出了一种有效的算法.接着,基于平衡框架我们提出了一种新的张量填充模型,并且根据著名的TMac算法提出了一种称为BS-TMac的算法来求解该模型.人工数据和真实数据的实验表明基于平衡框架的模型在重建非平衡张量时表现地很稳定.与传统方法相比,BS-TMac方法能够在恢复质量上表现更优.最后,由于矩阵核范数的凸性,它被广泛地用来逼近矩阵秩.但是在真实数据恢复中这种松弛可能会使松弛问题的解严重地偏离原始问题的解.利用秩的非凸逼近,即Schattern-p范数,我们提出了一种新的张量填充模型.由于模型的目标函数是非凸的,所以该模型很难直接求解.为了求解该模型,我们利川惩罚函数法形成了原始模型的一种变形,并且基于块坐标下降法提出了一种称为Sp-BCD的算法.虽然变形模型的目标函数是非凸的,我们证明了由Sp-BCD产生的序列的聚点是目标函数的稳定点.真实数据的实验表明Sp-BCD在恢复缺失数据时比传统方法更有效.

关键词：正则化块坐标下降低秩张量填充凸逼近非凸逼近

矩阵/张量填充理论在信号处理中应用 ——以阵列信号处理和频谱数据处理为例

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

矩阵/张量填充理论在信号处理中应用 ...

作者：葛超南京航空航天大学

学位级别：硕士

填充理论是紧随压缩感知理论之后迅速发展起来的,主要致力于解决从不完整的数据信息中补全缺失数据,被广泛应用于图像填充、信号处理、机器学习、计算机视觉等领域。其主要利用矩阵或张量的低秩性质,通过构造对应的核范数最小化优化模... 详细信息

填充理论是紧随压缩感知理论之后迅速发展起来的,主要致力于解决从不完整的数据信息中补全缺失数据,被广泛应用于图像填充、信号处理、机器学习、计算机视觉等领域。其主要利用矩阵或张量的低秩性质,通过构造对应的核范数最小化优化模型将缺失数据的补全转化为优化问题的求解。本文结合阵列信号处理和频谱数据处理的应用背景,以低秩矩阵填充理论和低秩张量填充理论为基础,首先解决了均匀面阵中部分阵元损坏情况下如何实现有效的二维DOA估计问题,其次实现了非均匀噪声下有效的DOA估计,并针对高维频谱数据中存在缺失值和稀疏异常值的情况,提出了鲁棒性长期频谱预测算法,具有重要的理论价值和实际应用意义。本文主要工作如下:（1）在均匀面阵中存在部分传感器未完全损坏的场景下,传统二维DOA估计算法角度估计性能严重下降,甚至失效。针对该问题提出了一种基于矩阵填充的二维DOA估计算法。该算法通过矩阵填充中的不定增广拉格朗日方法（IALM,Inexact Augmented Largarian Method）实现接收信号矩阵中缺失数据的补全,以此为基础利用传播算子（PM,Propagator Method）实现波达方向估计。仿真分析证实提出的算法能有效实现该场景下的波达方向估计,且算法性能优于SVTPM（Propagator Method Based on Singular Value Threshold）算法。（2）针对均匀面阵中存在部分传感器完全损坏的情形,首先提出了一种基于张量重构下矩阵填充的二维DOA估计算法。该算法基于接收信号的张量模型,通过张量重构策略（TR,tensor reconstruction）和矩阵填充理论中的IALM算法实现接收信号矩阵中缺失数据的补全,以此为基础利用ESPRIT算法实现有效的波达方向估计。紧接着提出了一种基于低秩张量填充的二维DOA估计算法。该算法通过低秩张量填充理论中的Ha LRTC（High Accuracy Low Rank Tensor Completion）算法补全缺失数据,并以此为基础利用ESPRIT（Estimating Signal Parameters via Rotational Invariance Techniques）算法实现有效的波达方向估计。当部分传感器完全损坏时,对应接收信号矩阵中部分行数据完全缺失,低秩矩阵填充理论并不能有效实现缺失数据的补全,而提出的两个算法均实现了该场景下有效的二维波达方向估计。（3）对于均匀线阵中非均匀噪声下的一维DOA估计问题,非均匀噪声功率矩阵对信号协方差矩阵的奇异值分布造成了严重的影响,使得据此得到的信号子空间和方向向量空间不再同构。针对该问题提出了一种基于酉变换下矩阵填充的旋转不变性子空间算法。该算法不仅实现了非均匀噪声下有效的波达方向估计,还降低了算法复杂度。首先引入酉变换将非均匀噪声下的复数域协方差矩阵转化为实数矩阵,接着运用实数域的低秩矩阵填充理论分离出非均匀噪声功率矩阵,并利用酉ESPRIT算法实现了有效的波达方向估计。（4）针对高维频谱数据中具有缺失值和稀疏异常值下的情况提出了鲁棒性长期频谱预测（RLSP,Robust Long-term Spectrum Prediction）算法。该算法采用了预填充过程和鲁棒性张量恢复交替迭代的架构,大大降低了长期频谱预测性能对预填充精度的过分依赖。相比于已有的LSP-TC（Long-term Spectrum Prediction Scheme Based on Tensor Completion）算法,该算法不仅实现了具有稀疏异常值下的有效长期频谱预测,即使在没有异常值的情况下,长期频谱预测性能也优于LSP-TC算法。

关键词：低秩矩阵填充低秩张量填充波达方向估计非均匀噪声高维频谱数据鲁棒性长期频谱预测