检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

低压台区缺失数据的张量补全方法

中国电机工程学报 2020年第22期40卷 7328-7336页

作者：赵洪山寿佩瑶马利波河北省分布式储能与微网重点实验室(华北电力大学) 河北省保定市071003

低压配电台区的理论线损计算对配电网降损及改善电能质量至关重要,但由于用户用电数据在采集、传输等环节会出现缺失,从而无法精确计算线损。为获得台区理论线损计算所需的完整数据,该文提出一种基于张量的多用户缺失数据补全模型。首先... 详细信息

低压配电台区的理论线损计算对配电网降损及改善电能质量至关重要,但由于用户用电数据在采集、传输等环节会出现缺失,从而无法精确计算线损。为获得台区理论线损计算所需的完整数据,该文提出一种基于张量的多用户缺失数据补全模型。首先,对台区缺失数据的特征进行分析,构建该台区的标准化缺失张量。然后,考虑用户数据特性和多用户数据多维内在相关性,利用补全张量的低秩性建立模型,用交替方向乘子法迭代求解该模型。最后,对台区用户数据随机丢失和整天丢失2种情况分别用所提方法进行缺失数据补全。算例结果表明,该方法适用于实际缺失情况,能准确地补全台区缺失数据值。

关键词：智能配电网低压台区缺失数据补全张量补全

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于因果反馈的缺失数据集因果关系发现

四川大学学报（自然科学版） 2024年第2期61卷 49-58页

作者：马从锂黄飞虎弋沛玉王琳娜彭舰四川大学计算机学院成都610065

因果关系发现是因果推断的重要部分,其目标是揭示数据内在的生成机制,并以有向无环图的形式表示.然而关于因果关系发现,现有方法很少考虑到观察数据存在缺失值的情况.在实际场景中,大量数据集存在缺失值,因此估计缺失数据集中的因果关... 详细信息

因果关系发现是因果推断的重要部分,其目标是揭示数据内在的生成机制,并以有向无环图的形式表示.然而关于因果关系发现,现有方法很少考虑到观察数据存在缺失值的情况.在实际场景中,大量数据集存在缺失值,因此估计缺失数据集中的因果关系成为一个亟需解决的问题.本文提出了一种新的基于因果反馈的算法实现关于缺失数据集的因果关系发现,其中生成对抗网络被用于估计缺失数据集的分布,并利用基于Actor-Critic的因果关系发现模块搜索最优因果图,设计了一个基于扩展贝叶斯信息准则的自定义奖励函数,引入分类误差引导模型加速探索过程,提升模型稳定性.在模拟数据和真实数据上进行的大量实验结果表明,本文提出的方法在不同数据缺失率下优于现有方法 .

关键词：深度学习缺失数据补全因果关系发现有向无环图

低压台区缺失数据的改进U-Net补全方法研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

低压台区缺失数据的改进U-Net补全方法研究

作者：崔阳阳华北电力大学

学位级别：硕士

低压台区用户用电数据是负荷预测、线损计算、能效分析等应用的基础,但在采集、传输等环节出现无规律缺失,成为了后续高级应用分析的瓶颈。为保证低压台区用户用电数据的完整性,提出了基于改进U型网络（resnet U-Net,RU-Net）的多用户... 详细信息

低压台区用户用电数据是负荷预测、线损计算、能效分析等应用的基础,但在采集、传输等环节出现无规律缺失,成为了后续高级应用分析的瓶颈。为保证低压台区用户用电数据的完整性,提出了基于改进U型网络（resnet U-Net,RU-Net）的多用户电力缺失数据补全方法。（1）首先,对低压台区缺失数据产生原因、缺失模式进行分析与总结;然后,提出缺失数据补全性能的三种评价标准,分别为平均绝对误差、平均百分比误差、均方根误差;最后,对残差U型网络相关的理论基础进行了详细的介绍,分别为卷积神经网络,U-Net网络、残差学习。（2）针对台区单一量测数据缺失问题,以低压台区功率数据为例首先对低压台区功率数据进行特性分析,并基于分析出的特性进行模型输入时空张量的构建;然后进行单量测缺失数据的改进U-Net补全模型的构建,利用RU-Net网络的编码与解码能力实现单量测缺失数据的重构,通过引入残差学习以及批归一化层优化网络结构;最后,基于所提方法对某台区用户功率数据随机缺失和连续缺失两种情况进行补全,结果表明,该方法不仅能实现随机缺失和连续缺失两种缺失情况的精确补全,而且所提方法在补全精度方面相比传统方法有不同程度的提高。（3）针对台区多量测数据缺失问题,首先对台区多量测数据特性进行分析,基于总结的特性进行测量-时间-用户三维输入张量的构建,这种高阶耦合数据结构使得模型更好的捕捉台区数据之间的复杂关系;然后进行多量测缺失数据的改进UNet补全模型的构建,利用RU-Net网络的编码与解码能力实现缺失数据的重构,通过引入残差学习以及批归一化层优化网络结构;最后,基于所提方法对某台区多量测数据随机缺失和连续缺失两种情况进行补全,结果表明该方法相比单量测量补全方法有更高的补全精度。

关键词：低压配电台区缺失数据补全数据高维相关性 U-Net 残差学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

多视角数据缺失补全

软件学报 2018年第4期29卷 945-956页

作者：杨旭朱振峰徐美香张幸幸北京交通大学计算机科学与信息技术学院北京100044 现代信息科学与网络技术北京市重点实验室(北京交通大学) 北京100044

随着信息技术的快速发展,现实生活中不断涌现出大量的多视角数据,由此应运而生的多视角学习已成为机器学习领域的研究热点.然而,在数据获取过程中,由于收集的难度、高额成本或设备故障等问题,往往导致收集到的多视角数据出现视角缺失,... 详细信息

随着信息技术的快速发展,现实生活中不断涌现出大量的多视角数据,由此应运而生的多视角学习已成为机器学习领域的研究热点.然而,在数据获取过程中,由于收集的难度、高额成本或设备故障等问题,往往导致收集到的多视角数据出现视角缺失,这使得一些多视角学习方法无法有效进行.为此,提出一种基于视角相容性的多视角数据缺失补全方法.通过监督的共享子空间学习,获得与每类多视角数据相对应的共享子空间,从而建立视角相容性判别模型.与此同时,基于共享子空间重构误差等同分布的假设,提出了针对视角缺失的多视角数据的共享表征获取方法,实现多视角缺失数据的预补全.在此基础上,进一步通过多元线性回归实现缺失视角的精确补全.此外,还把所提出的视角补全方法拓展到解决含有噪声的多视角数据的降噪问题.在UCI、COIL-20以及人工合成数据集上的实验结果验证了所提算法的有效性.

关键词：多视角学习缺失数据补全共享子空间学习视角相容性跨媒体计算

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

面向缺失数据集的因果关系发现研究

面向缺失数据集的因果关系发现研究

作者：马从锂四川大学

学位级别：硕士

因果推断是人类智能和科学的重要组成部分,是统计学和数据科学的核心问题之一,它被认为是人工智能领域的一次范式革命,是近年来该领域的研究热点之一。简单来说,在一种现象已经发生的情况下,推出因果关系结论的过程,就是因果推断。因果... 详细信息

因果推断是人类智能和科学的重要组成部分,是统计学和数据科学的核心问题之一,它被认为是人工智能领域的一次范式革命,是近年来该领域的研究热点之一。简单来说,在一种现象已经发生的情况下,推出因果关系结论的过程,就是因果推断。因果推断在医疗保健、营销、政治科学和在线广告等许多领域都有大量的实际应用,它主要包括因果关系发现和因果效应估计两大分支,其中因果关系发现旨在从观测数据集中估计出一个有向无环图,从而揭示数据集的内在生成机制。关于因果关系发现,现有方法很少考虑到观察数据存在缺失值的情况。然而包含缺失值的缺失数据集是普遍存在的,因此如何推导出缺失数据集的因果图是一个亟待解决的问题。虽然已经有一些关于缺失数据集因果关系发现的研究,但现有的工作主要存在着以下两个问题:1.对缺失数据集的处理。现有的绝大多数研究采用的方式是删除法,即删除含有缺失数据的条目。直接删除会导致可用数据大幅减少,不利于后续因果关系的推导。虽然后续“测试性删除”法被提出,但仍然会存在一定程度的数据浪费;2.缺失数据补全和因果关系发现两个过程是割裂的。以往的研究中,将缺失数据补全和因果关系发现两个过程完全视为两个独立的子问题去解决,先对缺失数据集进行补全,随后在补全后的数据集上估计因果图。这一做法忽略了缺失数据补全和因果关系发现的互促特性,信息的流动是单向的从补全到发现,而这种单向的信息流动无法利用两者的互促特性,导致难以最大化利用信息,从而限制模型性能。针对现有工作的不足,本文主要工作如下:1.提出了一种基于深度学习的缺失数据集因果关系发现模型DICD(Deep learningBased Imputation Causal Discovery),此模型借助生成对抗网络实现缺失数据补全,利用生成器和判别器相互抗衡,估计数据集的原始分布,从而实现补全。在因果关系发现任务中,使用基于自注意力机制的编码器-解码器和多层自注意力卷积网络的图生成模型,捕获变量之间的关联。基于扩展贝叶斯信息准则法和强化学习算法中的Actor-Critic算法来搜索最优因果图。2.提出了基于因果反馈的缺失数据集因果关系发现模型CF-ICD(Causal Feedbackbased Imputation Causal Discovery),该模型利用缺失数据补全和因果关系发现互补性的特点,通过因果表征提取实现联合学习缺失数据补全和因果关系发现,这种反馈式的联合学习方式使信息得以循环流动,使两个模块性能相互提升,进而提升模型整体性能。此外,在之前研究的基础上,模型还将因果关系识别问题转换为二分类问题,同时融合编码器-解码器生成模型的结果,在提高模型性能的同时使模型更快收敛。

关键词：深度学习缺失数据补全因果关系发现有向无环图

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于张量理论的时空交通数据恢复方法研究

基于张量理论的时空交通数据恢复方法研究

作者：王伟叶赣南师范大学

学位级别：硕士

随着社会经济的快速发展,交通问题也日益突出,这不仅影响到人们出行的效率与安全,同时也严重制约了社会的发展,此时智能交通系统应运而生。然而在数据驱动的智能交通系统中,数据缺失是一个普遍且不可避免的问题。虽然有许多先进的传感... 详细信息

随着社会经济的快速发展,交通问题也日益突出,这不仅影响到人们出行的效率与安全,同时也严重制约了社会的发展,此时智能交通系统应运而生。然而在数据驱动的智能交通系统中,数据缺失是一个普遍且不可避免的问题。虽然有许多先进的传感器能够收集到人们想要的所有数据,但仍然无法避免数据的不完整性,因为数据本质上是稀疏的,同时交通数据会受到传感器空间覆盖的限制,不足以支持大范围、高分辨率的交通速度和时间检测。因此,对时空交通数据进行补全已成为实现智能交通应用的关键技术之一。本文针对交通数据具有大规模、高维度和低秩特性构建基于张量的数学模型来开发高效有效的缺失数据补全方法。本文主要研究内容有以下几方面:(1)针对大规模时空交通数据存在数据缺失问题,本文在贝叶斯鲁棒CP张量分解模型基础上结合潜在因子和稀疏项,能够有效的估计缺失项。首先,模型将共轭先验置于超参数上,能够解析的导出参数的后验分布。其次,考虑到数据在具有低秩性的同时也具有稀疏性,因此,低秩张量由多个潜在因子间的多线性相互作用建模,稀疏张量由学生t-分布的层次图表示。当低秩张量捕获全局信息时,稀疏张量捕获局部信息,从而为缺失项提供一个鲁棒的预测分布。将模型应用于时空交通数据补全实验,实验结果和可视化结果均证明所提模型在恢复误差上相较于其他基线模型更具有竞争性。(2)针对时空交通数据的低秩特性,本文对基于张量鲁棒主成分分析模型进行改进,考虑到非凸截断核范数最小化比凸核范数最小化在张量补全任务上有更好的性能,因此提出了改进型截断核范数的张量鲁棒主成分分析模型。该模型通过引入全局速率参数能够在没有先验信息的条件下为每个张量模式确定合适的截断度,能准确的从低秩和稀疏分量和中恢复。使用交替方向乘子法进行求解,在广州数据集和西雅图数据集上进行实验分析,结果表明改进后的模型显著提高了对缺失数据的恢复精度。(3)针对时空交通数据的高维特性,本文提出一种基于可逆线性变换的张量积核范数加权和模型。该模型首先基于张量积的变换能对不同张量模式数据使用不同的线性变换。其次,在模型中引入张量矩阵化算子的三维扩展并结合张量N管秩,能够使其适用于高维张量且灵活处理沿不同模式的相关性。在非随机缺失情况下进行实验,结果表明所提模型在恢复精度和运行时间上都具有优势,有效利用了所有模式的相关性,并保留了潜在张量的内在结构。

关键词：时空交通数据缺失数据补全张量分解截断核范数张量N管秩

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于张量建模的时空数据去噪与检测技术研究

基于张量建模的时空数据去噪与检测技术研究

作者：龚成坚赣南师范大学

学位级别：硕士

随着电子产品在视觉数据展示层面以及对于信息挖掘层面的要求越来越高,获取的视觉数据结构完整性、信息丰富性等越来越完善。但实际操作过程中由于拍摄设备、拍摄角度及拍摄方式的问题,易获得有较强噪声的视觉数据,使其显现的效果容易... 详细信息

随着电子产品在视觉数据展示层面以及对于信息挖掘层面的要求越来越高,获取的视觉数据结构完整性、信息丰富性等越来越完善。但实际操作过程中由于拍摄设备、拍摄角度及拍摄方式的问题,易获得有较强噪声的视觉数据,使其显现的效果容易差强人意。在红外成像弱小目标检测以及视频背景减除等的实际应用层面上,由于背景复杂多变、目标形态多样、噪声繁杂,导致在设备精度较高的前提下检测的效果也并不完美。对于一个图像数据来说大多数信息是稀疏的(也就是说明这个图像建模后的矩阵是低秩的),故将稀疏部分(即稀疏性度量)与重点部分分开建立模型就显得尤为重要。在含有时间信息维度的时空数据场景的建模中也是探索优化突破的关键技术。本文针对视觉数据的模型,主要研究内容有以下几方面:(1)针对核范数范数最小化方式由于遭受秩分量过度收缩和不同秩分量的同等处理而导致模型缺乏灵活性的情况,提出了一种用于RGB彩色图像去噪的多通道加权截断Schatten-p范数最小化模型。核范数最小化是一种特殊的非凸秩最小化凸松弛方案,对于仍然具有研究挑战性的图像去噪和目标检测中,重点是运用到去噪方法当中以及背景减法中。本文将核范数正则化扩展为最小化加权不同奇异值的Schatten-p范数,且在加权Schatten-p范数优化框架下,投入截断的优化方式。该模型基于彩色图像数据本身带有的特征:各通道的不同噪声强度和非局部自相似斑块,并通过交替方向乘法器求解该模型。(2)同时,首次将多通道加权截断Schatten-p范数最小化模型推广至张量空间,提出了改进型截断Schatten-p范数加权张量红外面片模型,使用交替方向乘子法框架搭载求解方式,并使用一些非凸惩罚代替L1范数惩罚。由于Schatten-p范数比核范数在张量分解补全等性能上更为灵活优效,也增添了截断Schatten-p范数的优势,在已有的张量核范数的研究下可以看出该方法的适配度。此方法的特点是对分布于多维成像数据中的非局部自相似性以及稀疏线性逼近中的相似斑块进行分组,且在文中将其应用于基于时空张量模型的红外成像目标检测。在在红外目标检测定性定量分析实验的结果表明该方法更优,视觉结果也显示出改进后的方法比其他方法效果更好,且获得的目标结构信息完整度更高。(3)针对大多数稀疏度较高的灰度视频数据,提出了一种张量非凸稀疏度量稳健主成分分析模型。稀疏建模作为分析数据的一种前景广阔的方法,在整个计算机科学与工程界有着举足轻重的地位。而背景减除是计算机视觉、目标检测跟踪等方面的一项关键技术。对于大多数自然数据来说,同样需要从少部分观测张量中恢复一个低秩张量,而稀疏数据中去噪也尤为重要,在处理这些数据中使用去噪算法作为基于模型反演的先验。而将全局截断奇异值分解与局部鲁棒主成分分析结合,能够利用更多空间信息。在建模为低秩张量的视频算法中显示使用非凸惩罚函数的模型具有很好的前景分离与背景减除性能。

关键词：红外小目标成像缺失数据补全图像降噪截断Schatten-p范数最小化非局部块

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向物联网的不完全数据流补全方法研究

面向物联网的不完全数据流补全方法研究

作者：来桂兵桂林电子科技大学

学位级别：硕士

随着人工智能和物联网的快速发展,以数据为基础的智能服务已经推广到多个应用领域。然而由于物联网环境的复杂性,传感设备在数据采集和传输的过程中可能会产生不完全传感数据流。不完全传感数据流将破坏数据集的完整性,进而影响了模型... 详细信息

随着人工智能和物联网的快速发展,以数据为基础的智能服务已经推广到多个应用领域。然而由于物联网环境的复杂性,传感设备在数据采集和传输的过程中可能会产生不完全传感数据流。不完全传感数据流将破坏数据集的完整性,进而影响了模型分析的准确性。此外,对一些需要实时数据流支撑的智能物联网服务而言,不完全传感数据流的存在会使这些服务陷入瘫痪的状态。因此,物联网环境下不完全数据流的补全是一个亟需解决的问题。本文主要针对物联网环境下不完全数据流的补全问题进行研究,论文主要研究内容如下:（1）针对物联网环境下不完全数据流的离线补全,提出了一种基于Ra-LSTM的不完全传感数据流补全方法。离线环境下的补全方法需要综合考虑数据补全精度和补全效率。现有的基于统计学的补全方法虽然简单易行,但是存在数据补全精度不佳的问题。同时,大部分机器学习和深度学习方法在进行不完全数据流的补全时存在补全效率不高的问题。针对上述问题,本文提出了一个面向离线不完全数据流的关系感知LSTM补全方法。该补全方法分别使用了时序LSTM模型和空间关系LSTM模型提取传感数据的时序特征和空间关系特征,然后采用时空融合算法将时序特征和空间特征进行融合,利用融合后的特征补全不完全传感数据流中的缺失数据。最后,在三个不同领域的物联网传感数据集上验证了Ra-LSTM补全方法的有效性。（2）针对物联网环境下不完全数据流的在线补全,提出了一种联合相似度约简技术和矩阵分解理论的不完全数据流快速补全方法。在线环境下的补全方法主要关注补全实时性。虽然现有的一些基于统计指标的补全方法补全实时性较好,但是存在补全精度不佳的问题。针对这一问题,本文联合相似度约简技术和矩阵分解理论,提出了一种快速的不完全数据流补全方法SRa MF。该补全方法的思想是对初始传感数据矩阵进行预处理,对原始数据集进行数据约简,最后利用约简后的数据对不完全传感数据流进行快速补全,实验结果表明SRa MF补全方法在保证补全精度的前提下能提高80%以上的时间性能。SRa MF补全方法降低了数据冗余度,在补全精度可控的前提下提高了补全实时性,SRa MF可以为下游智能物联网智能服务实时提供完整数据流,以便智能服务能够实时分析、快速决策。

关键词：智能物联网不完全数据流关系感知缺失数据补全

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于核范数的深度生存分析研究

基于核范数的深度生存分析研究

作者：童剑阳兰州大学

学位级别：硕士

生存分析主要是研究生存状况和生存时间以及它们与各类协变量之间的统计关系的一门学科。生存分析的研究数据存在不同类型的删失（左删失,区间删失以及右删失）。本文选择右删失类型的医学统计领域生存分析类数据进行研究,主要对原始数... 详细信息

生存分析主要是研究生存状况和生存时间以及它们与各类协变量之间的统计关系的一门学科。生存分析的研究数据存在不同类型的删失（左删失,区间删失以及右删失）。本文选择右删失类型的医学统计领域生存分析类数据进行研究,主要对原始数据存在的数据缺失以及分类变量表示问题进行了处理,并将深度学习方法应用于生存分析模型中,将DeepSurv算法应用于各类数据之上,并与其他应用广泛且性能较好的算法进行对比,且在该算法基础之上进行了改进。关于生存分析大规模数据,本文寻找的是医学统计领域经典的MIMIC-Ⅲ数据。在处理数据方面,首先是该组数据中缺失数据较多,本论文将在图像去噪领域应用较多的核范数方法应用于生存分析协变量矩阵数据补全之上,以寻求更好的数据补全效果;其次在该组数据的协变量当中存在着较多分类变量,本论文考虑使用引入虚拟变量以及基于经验贝叶斯的表示方法对其进行处理,以寻求更合理的可解释性。使用深度神经网络方法训练得出生存分析参数模型时,可能会存在训练速度慢、过拟合等问题。论文基于此在算法当中使用了扩展指数线性单元（Scaled Ex-ponential Linear Unit,SELU）激活函数、自适应矩估计（Adaptive moment estima-tion,Adam）优化算法、学习率衰减、神经网络单元 Dropout 等方法,以得出最终模型。基于以上各方面的考量,本文最终提出基于核范数的深度生存分析算法（NN-DeepSurv）,并将其应用于包含模拟数据以及MIMIC-Ⅲ在内的各组数据之上,以检验算法的效果与实用性。

关键词：生存分析深度神经网络缺失数据补全核范数