检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

随机在线cp分解算法

随机在线CP分解算法

作者：马聪博华南理工大学

学位级别：硕士

随着计算机技术的快速发展,每日待处理的数据量飞速增长,储存这些数据的数据结构和类型也越来越复杂。在机器学习、数据挖掘、计算机视觉等领域,越来越多的数据可用张量进行表征,例如传感器、网络、图像、视频等数据,这些张量数据通常... 详细信息

随着计算机技术的快速发展,每日待处理的数据量飞速增长,储存这些数据的数据结构和类型也越来越复杂。在机器学习、数据挖掘、计算机视觉等领域,越来越多的数据可用张量进行表征,例如传感器、网络、图像、视频等数据,这些张量数据通常是以数据流形式获取。然而传统的离线学习算法必须使用全量数据进行训练,而且实时数据不能确定数据的到达时间、到达顺序且数据量未知,若把所有数据存储起来再进行离线学习是不现实的。而在线学习能不断地从新样本中学习新的知识,并能保存大部分以前已经学习到的知识。cp分解是一种有效的张量分解算法,本文基于随机抽样cp分解算法和在线cp分解算法的思想,提出了一种新颖的在线cp分解算法:随机在线cp分解算法(ROcp)。该算法可以实时处理大规模高阶在线张量数据,通过使用随机抽样算法,将在线cp分解中计算量巨大的Khatri-Rao积求解问题转化为Hadamard积求解,从而极大地降低算法的运行时间,减少内存需求。同时本文还提出了一种选取在线cp分解算法初始化最优解的办法,保留迭代过程中信息保留率最高时所对应抽样后的Khatri-Rao积矩阵集合和形成此矩阵的因子矩阵集合,使得随机在线cp算法可以得到一个较好的初始解。本文以9个人工数据集和6个真实数据集为实验数据,对Batch Cold算法、Batch Hot算法、Onlinecp算法、ROcp算法的实验平均运行时间、信息保留率、可扩展性和对初始解的而敏感程度进行对比。实验结果表明:本文提出的ROcp算法在时间上明显优于Batch Cold算法、Batch Hot算法和Onlinecp算法,而且张量数据规模越大,时间优势越明显,更能满足实时处理的需求。可扩展性分析显示,在处理时间维度很大的张量和在线进入不同批次大小张量时,ROcp算法十分稳定,平均运行时间最短。综上所述,本文提出的ROcp算法可以有效提升张量分解的效率。

关键词：张量分解 cp分解在线学习随机抽样

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

稀疏高阶张量cp分解

稀疏高阶张量CP分解

作者：汪亮广东工业大学

学位级别：硕士

随着当代计算机技术的飞速发展,尤其在机器学习和人工智能领域的研究越来越广泛和深入.人们对高维数据基础理论的建立要求越来越严格,尤其对高阶张量的数据分解研究也就越来越深入.在数据处理中如何分解数据直接影响着算法的性能.例如... 详细信息

随着当代计算机技术的飞速发展,尤其在机器学习和人工智能领域的研究越来越广泛和深入.人们对高维数据基础理论的建立要求越来越严格,尤其对高阶张量的数据分解研究也就越来越深入.在数据处理中如何分解数据直接影响着算法的性能.例如在人脸数据中有些处理方法是使用普通的奇异值分解或者直接把数据排列成一个一维的向量,这种方法不能保证保留数据的重要信息而且还破坏了图像的空间结构导致数据的不稳定性.从而使算法效果下降.因此如何分解数据并最大程度保持数据的重要信息成为一个重要的问题.张量分解是数据分解中一项重要技术,越来越多的学者开始关注和研究.目前进度的分解方法有:经典的cp分解,Tucker分解,HOSVD分解等.这些分解可以很好的对数据做处理并能保存其主要信息.然而由于现代各个领域的发展对张量分解的要求越来越严格.亟需新的分解方法来满足不同的要求.在高维数据中有一个稀疏的特性,传统的张量分解算法在分解后无法很好的刻画该特征,即不能够有效解决稀疏问题.针对上述问题,本文在前面的工作基础上提出了稀疏软阈值截断操作的算法,并结合张量的经典分解构造新的稀疏软阈值截断算法.主要的研究工作如下:首先,针对经典的张量cp分解算法,嵌入软阈值和截断操作.本文在张量cp分解的算法基础上做软阈值和截断操作的组合操作.具体来说,该算法结合了Genevra ***的软阈值操作和Misha ***的截断操作这两个技术的优点.将其嵌入到张量cp分解算法中,避免了单个操作下存在对于特殊数据效果表现并不理想,甚至在普通数据中也会出现过于稀疏的情况.其次,针对张量的Tucker分解中,也可以同样做软阈值和截断操作,因为本身Tucker分解与cp分解有着很大的联系,当Tucker分解出来的核张量,且它是各个维度相同的超对角张量时,这就变成了张量的cp分解.同时张量的Tucker分解是高阶SVD分解的推广形式,此算法为HOOI分解算法.这个算法是使用了截断操作来达到稀疏的效果.同样具有稀疏效果不够好的缺点,在这里引入软阈值操作,组成新的算法张量的Tucker SOTH-TRU算法.此算法保留了HOOI算法的优点并使用软阈值解决了过于稀疏和对特殊数据稀疏效果不好的问题.最后,针对张量的T-SVD分解算法.提出一种新的张量分解算法TST-SVD.在使用上述的软阈值截断操作时,表现出良好的效果.T-SVD算法是基于映射到傅里叶域对张量切片做奇异值分解.这个算法也没有对分解因子做稀疏操作,我们的软阈值和截断操作同样适用此算法.具体的,在映射到傅里叶域并做SVD之后我们对其分解因子做软阈值和截断操作,通过学习到合适的参数来保证算法的稀疏性和张量信息的最大保留.对于本文提出的基于张量分解的稀疏软阈值和截断操作算法,不仅通过了理论证明其算法的收敛性.而且还使用了高斯分布生成的随机数据和混合分布的生成数据进行实验比较和分析.通过实验证明了本文提出的稀疏软阈值和截断操作算法能最大可能的保留张量的主要信息并使其稀疏.在高维数据的处理中使用此方法可以提高算法的性能.因此具有重要的实际应用价值.

关键词：张量分解稀疏 cp分解 Tucker分解软阈值,截断操作 Soth-Tru分解算法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于cp分解的跨模态图片生成网络压缩研究

基于CP分解的跨模态图片生成网络压缩研究

作者：楼君英大连理工大学

学位级别：硕士

跨模态图片生成网络可以根据文本描述直接生成相应的图片,极大地扩展了计算机视觉的应用范围,可用于跨模态检索、艺术创作、犯罪图像生成和数据集生成等领域。随着5G技术在人机交互、医疗保健、智慧城市等领域的兴起,各项人工智能技术... 详细信息

跨模态图片生成网络可以根据文本描述直接生成相应的图片,极大地扩展了计算机视觉的应用范围,可用于跨模态检索、艺术创作、犯罪图像生成和数据集生成等领域。随着5G技术在人机交互、医疗保健、智慧城市等领域的兴起,各项人工智能技术在移动终端部署的需求也不断增长,但现有的跨模态图片生成模型架构复杂、参数量多,难以被部署在计算资源有限的移动端以发挥其应用价值。因此,本文基于Canonical Polyadic Decomposition（cp分解）对跨模态图片生成对抗生成网络进行了如下的压缩研究:（1）本文提出了一种压缩重构方法,该方法融合了cp分解规则对架构进行分解,避免了对模型的参数进行预训练再分解替换的过程,减少了分解参数带来的高资源消耗。随后该方法对重构的网络进行逐层预训练,以初始化重构网络的卷积层参数。最后该方法为重构模型选择合适的学习率并使用反向传播训练重构模型。（2）为避免逐层预训练过程带来的时间与资源消耗,基于重构方法的可行性与有效性,本文提出了一种无需预训练的端到端的轻量型网络架构cpGAN。该架构基于cp分解将原模型的卷积层分解为三层较小的卷积层,并将每层卷积层视为编码器,为其添加相应的解码器以稳定cpGAN架构的训练过程。该架构还引入了条件增强模块,以缓解训练数据少导致的不稳定性。本文在经典跨模态图片生成的数据集Caltech-UCSD Birds-200-2011和Oxford-102上进行了大量的实验,实验结果表明在保证生成图片质量的前提下,所提出方法压缩了约20%的参数量与浮点计算量,证明了本文提出的融合cp分解规则的压缩重构方法和轻量型网络架构方法是有效可行的。

关键词：跨模态图片生成模型压缩 cp分解自动编码器

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一个多维张量在线cp分解的高效算法

湖州师范学院学报 2018年第4期40卷 48-53页

作者：许益维顾永跟潘建新杭州电子科技大学计算机学院浙江杭州310018 湖州师范学院信息工程学院浙江湖州313000

基于在线cp方法,提出了一种简化的在线cp分解算法,并使用4个数据集比较简化的在线cp分解算法、在线cp分解算法和ALS算法的计算速度和准确率,结果表明,简化的在线cp分解算法在几乎不损失准确率的情况下显著减少了计算时间,具有更好的分... 详细信息

基于在线cp方法,提出了一种简化的在线cp分解算法,并使用4个数据集比较简化的在线cp分解算法、在线cp分解算法和ALS算法的计算速度和准确率,结果表明,简化的在线cp分解算法在几乎不损失准确率的情况下显著减少了计算时间,具有更好的分解质量和分解速度,其不仅具有与ALS算法相似的分解准确率,而且分解速度比ALS算法快千万倍;与其他现有的在线cp分解算法相比,分解速度提升了几十倍.

关键词：数据挖掘 cp分解在线张量多维数据

在线全文

学校读者我要写书评

暂无评论

低秩张量嵌入的高光谱图像去噪神经网络

遥感学报 2024年第1期28卷 121-131页

作者：涂坤熊凤超侯雪强南京理工大学计算机科学与工程学院南京210094 中国酒泉卫星发射中心酒泉732750

随着遥感卫星技术的快速发展,高光谱图像在环境检测、资源管理、农业预警等领域得到了广泛应用。然而,由于设备误差和大气因素等原因,采集的高光谱图像中常常存在噪声,这会影响后续任务的准确性。因此,高光谱图像去噪成为了一个重要的... 详细信息

随着遥感卫星技术的快速发展,高光谱图像在环境检测、资源管理、农业预警等领域得到了广泛应用。然而,由于设备误差和大气因素等原因,采集的高光谱图像中常常存在噪声,这会影响后续任务的准确性。因此,高光谱图像去噪成为了一个重要的研究方向。高光谱图像的空间关联、光谱关联和空间—光谱联合关联导致干净的高光谱图像存在低维子空间中。低秩先验是高光谱图像普遍的物理性质,然而基于低秩表示的方法通常需要复杂的参数设置和计算。基于深度学习方法直接从数据中学习到干净图像的先验信息,具有较强的表达能力,但依赖大量数据且缺乏对高光谱图像物理知识如低秩性的有效利用。为了解决这些问题,本文利用高光谱图像的空间—光谱低秩特性,提出一种低秩张量嵌入深度神经网络方法,可以有效去除高光谱图像中的噪声。该方法采用低秩张量分解模块对高光谱图像的特征图进行低秩表示,通过全局池化和卷积等操作完成秩一向量的生成和低秩张量的重构。同时,将低秩张量分解模块与Unet相结合,对浅层特征进行低秩张量表示,以捕捉高光谱图像的空间—光谱低秩特性,提高了模型的去噪能力。当噪声标准差在[0—95]时,算法可以取得41.02 dB的PSNR和0.9888的SSIM。仿真数据和真实数据实验结果表明,所提出的低秩深度神经网络方法去噪效果优于其他方法。

关键词：高光谱图像去噪深度神经网络低秩张量表示知识驱动深度学习 cp分解 U-Net

在线全文

学校读者我要写书评

暂无评论

基于Huber损失的稳健张量回归及其应用

数理统计与管理 2024年第4期43卷 571-586页

作者：李传权马海强刘小惠刘育孜江西财经大学江西南昌330013 江西财经大学财经数据科学重点实验室江西南昌330013

随着科学技术的进步,张量数据及相关方法在众多领域中得到了快速的发展和广泛的运用。一系列基于cp(CANDECOMP/PARAFAC)分解的张量回归也逐渐被提出,但是在实际问题中,传统的张量回归方法易受厚尾数据、异常值等因素影响,从而造成系数... 详细信息

随着科学技术的进步,张量数据及相关方法在众多领域中得到了快速的发展和广泛的运用。一系列基于cp(CANDECOMP/PARAFAC)分解的张量回归也逐渐被提出,但是在实际问题中,传统的张量回归方法易受厚尾数据、异常值等因素影响,从而造成系数估计的偏差。鉴于此,本文提出基于Huber损失的稳健张量回归以及其稀疏形式,并构造了稳健块松弛算法及其稀疏算法,对其进行优化求解。同时,本文证明了稳健张量回归中估计系数的相合性和渐近正态性,也给出了稀疏形式下回归系数的误差界。最后,模拟实验和京津冀地区PM2.5数据均证实本文所提的方法比传统的张量回归具有更好的稳健性和更加精确的预测能力。

关键词： Huber损失函数稳健性 cp分解张量回归 PM2.5

在线全文

学校读者我要写书评

暂无评论

基于时空特征共享的多源交通数据修复

中山大学学报(自然科学版)(中英文) 2024年

作者：王纪禹陈锐祥何兆成朱依婷武智刚许焕挺中山大学智能工程学院/广东省智能交通系统重点实验室鹏城实验室

本文提出了一种基于多维度特征共享的多层稀疏张量分解模型（MFS-MSTD）。该模型在cp(CANDECOMP/PARAFAC)分解的基础上，对时空因子矩阵施加低秩正则化；并采用共享低秩因子矩阵的机制表达多源交通数据之间的互补性，在非随机缺失或路... 详细信息

本文提出了一种基于多维度特征共享的多层稀疏张量分解模型（MFS-MSTD）。该模型在cp(CANDECOMP/PARAFAC)分解的基础上，对时空因子矩阵施加低秩正则化；并采用共享低秩因子矩阵的机制表达多源交通数据之间的互补性，在非随机缺失或路段级缺失的场景下完成了因子矩阵的梯度更新。实例验证表明：在速度数据非随机缺失场景下，MFS-MSTD在RMSE、MAE和MAPE三个误差指标上相较于基线方法平均降低17%、21%和18%；在流量数据非随机缺失场景下，RMSE、MAE和MAPE平均降低52%、54%和33%。面对更复杂的路段级缺失场景，MFS-MSTD的修复性能优于TGMC-S和MTNTF两个基线模型，能很好地拟合出未观测路段的交通流量变化。

关键词：交通数据修复多源数据共享因子矩阵 cp分解

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于高阶累积量张量分解的联合盲源分离算法

东北大学学报（自然科学版） 2024年第1期45卷 26-32页

作者：季策刘明欣东北大学计算机科学与工程学院辽宁沈阳110169

提出一种基于高阶累积量张量分解的联合盲源分离(JBSS)算法,该算法可以从多组数据集的观测信号中恢复出源信号.首先通过计算多组数据集观测信号的高阶互累积量张量,利用累积量张量潜在的对角结构,将JBSS问题转化为高阶张量cp分解(cpD)问... 详细信息

提出一种基于高阶累积量张量分解的联合盲源分离(JBSS)算法,该算法可以从多组数据集的观测信号中恢复出源信号.首先通过计算多组数据集观测信号的高阶互累积量张量,利用累积量张量潜在的对角结构,将JBSS问题转化为高阶张量cp分解(cpD)问题.接下来,通过张量列分解(TTD)将高阶张量分解为由不高于3阶的多个互连的核张量组成的简单张量网络,由此将高阶cpD问题转化为多个3阶cpD问题.最后,根据TTD与cpD之间的关系,在多次3阶cpD之后,通过依次对因子矩阵进行重新排序与缩放得到多数据集的混合矩阵,进而实现对源信号的分离.实验结果表明,该算法具有较快的运行速度.

关键词：联合盲源分离张量列分解 cp分解高阶累积量

在线全文

学校读者我要写书评

暂无评论

一种非线性表征的概率潜在因子张量模型

电子科技 2024年

作者：董佳英宋燕李明江苏海洋大学计算机工程学院上海理工大学光电信息与计算机工程学院上海理工大学理学院

针对具有极度稀疏和不平衡的非负不完整数据的填补问题，文中提出了一种非线性表征的概率潜在因子张量模型。通过合理假设数据的概率分布作为先验信息，缓解数据的稀疏性。利用非线性映射实现对数据中每一非负元素的非线性表征，提高模... 详细信息

针对具有极度稀疏和不平衡的非负不完整数据的填补问题，文中提出了一种非线性表征的概率潜在因子张量模型。通过合理假设数据的概率分布作为先验信息，缓解数据的稀疏性。利用非线性映射实现对数据中每一非负元素的非线性表征，提高模型的表征能力。考虑到数据的不平衡性，对传统正则化项添加基于实例频率的权重，增加正则化项的有效性和针对性。实验结果表明，所提模型在补全精度和时间成本方面较现有模型具有有明显提升。

关键词：非线性表征概率潜在因子张量模型实例频率非线性映射数据稀疏性 cp分解不平衡分布正则项