检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向随机多对象动态系统的深度生成式模型

面向随机多对象动态系统的深度生成式模型

作者：杨帆浙江大学

学位级别：硕士

现实世界中的动态系统通常由多个存在随机性交互影响关系的对象组成。建模和预测此类多对象动态系统的行为通常较为困难,因为其各个组成对象间的复杂相互作用和联合演化过程难以被有效形式化。本文提出了两种使用图神经网络对随机多对... 详细信息

现实世界中的动态系统通常由多个存在随机性交互影响关系的对象组成。建模和预测此类多对象动态系统的行为通常较为困难,因为其各个组成对象间的复杂相互作用和联合演化过程难以被有效形式化。本文提出了两种使用图神经网络对随机多对象动态系统进行深度生成式建模的方法。在第一种方法中,我们提出了关系式状态空间模型,其在状态空间模型的框架下使用图神经网络建模多个相关对象的交互影响关系和联合状态转移;在第二种方法中,我们提出了条件式图规整化流模型,其在规整化流的框架下使用在时间维度上并行化的图神经网络建模多对象多步轨迹的联合分布中对象间的依赖。通过图神经网络与深度生成式模型的紧密融合,关系式状态空间模型提供了一种在多对象动态系统建模中利用关系信息的灵活方式,而条件式图规整化流模型提供了一种联合预测多对象未来多步轨迹的高效方式。两种模型的有效性在合成和实时序列数据集上得到了实验验证。

关键词：动态系统建模图神经网络时间序列状态空间模型深度生成式模型规整化流

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

深度生成式故障诊断模型研究

机床与液压 2024年

作者：黄汉坤岑健赵必创司伟伟王玮樾潘黄楠广州市智慧建筑设备信息集成与控制重点实验室广东技术师范大学自动化学院

深度生成模型因其强大的生成能力而备受关注。随着研究的深入，深度生成模型成功的应用于故障诊断领域，并取得卓越的成绩。因此，对基于深度生成式模型的故障诊断方法的相关研究成果进行了总结。首先，系统介绍了传统深度生成式模型受... 详细信息

深度生成模型因其强大的生成能力而备受关注。随着研究的深入，深度生成模型成功的应用于故障诊断领域，并取得卓越的成绩。因此，对基于深度生成式模型的故障诊断方法的相关研究成果进行了总结。首先，系统介绍了传统深度生成式模型受限玻尔兹曼机，以及目前主流的深度生成式模型生成对抗网络和变分自编码器。其次，对生成对抗网络典型变体进行了分类和梳理，包括基于模型结构改进和基于损失函数改进。同时，将变分自编码器典型变体分为无监督VAE和有监督VAE，并进行系统总结。最后，从样本问题、模型泛化能力、构建新模型三个角度，探讨了现有深度生成式模型面临的挑战，并提出几个未来的研究方向。

关键词：故障诊断深度生成式模型生成对抗网络变分自编码器

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

利用标注者相关性的深度生成式众包学习

软件学报 2022年第4期33卷 1274-1286页

作者：李绍园韦梦龙黄圣君南京航空航天大学计算机科学与技术学院/人工智能学院江苏南京211106

传统监督学习需要训练样本的真实标记信息,而在很多情况下,真实标记并不容易收集.与之对比,众包学习从多个可能犯错的非专家收集标注,通过某种融合方式估计样本的真实标记.注意到现有深度众包学习工作对标注者相关性建模不足,而非深度... 详细信息

传统监督学习需要训练样本的真实标记信息,而在很多情况下,真实标记并不容易收集.与之对比,众包学习从多个可能犯错的非专家收集标注,通过某种融合方式估计样本的真实标记.注意到现有深度众包学习工作对标注者相关性建模不足,而非深度众包学习方面的工作表明,标注者相关性建模利用有助于改善学习效果.提出一种深度生成式众包学习方法,以结合深度神经网络优势及利用标注者相关性.该模型由深度神经网络分类器先验和标注生成过程组成,其中,标注生成过程通过引入各类别内标注者能力的混合模型以建模标注者相关性.为自适应地匹配数据及模型复杂度,实现了完全贝叶斯推断.基于结构变分自编码器的自然梯度随机变分推断技术,将共轭参数变分消息传递与神经网络参数随机梯度下降结合到统一框架,实现端到端的高效优化.在22个真实众包数据集上的实验结果验证了该方法的有效性.

关键词：众包学习深度生成式模型标注者相关性贝叶斯自然梯度随机变分推断

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

深度生成模型综述

自动化学报 2022年第1期48卷 40-74页

作者：胡铭菲左信刘建伟中国石油大学(北京)自动化系北京102249

通过学习可观测数据的概率密度而随机生成样本的生成模型在近年来受到人们的广泛关注,网络结构中包含多个隐藏层的深度生成式模型以更出色的生成能力成为研究热点,深度生成模型在计算机视觉、密度估计、自然语言和语音识别、半监督学习... 详细信息

通过学习可观测数据的概率密度而随机生成样本的生成模型在近年来受到人们的广泛关注,网络结构中包含多个隐藏层的深度生成式模型以更出色的生成能力成为研究热点,深度生成模型在计算机视觉、密度估计、自然语言和语音识别、半监督学习等领域得到成功应用,并给无监督学习提供了良好的范式.本文根据深度生成模型处理似然函数的不同方法将模型分为三类:第一类方法是近似方法,包括采用抽样方法近似计算似然函数的受限玻尔兹曼机(Restricted Boltzmann machine,RBM)和以受限玻尔兹曼机为基础模块的深度置信网络(Deep belief network,DBN)、深度玻尔兹曼机(Deep Boltzmann machines,DBM)和亥姆霍兹机,与之对应的另一种模型是直接优化似然函数变分下界的变分自编码器以及其重要的改进模型,包括重要性加权自编码和可用于半监督学习的深度辅助深度模型;第二类方法是避开求极大似然过程的隐式方法,其代表模型是通过生成器和判别器之间的对抗行为来优化模型参数从而巧妙避开求解似然函数的生成对抗网络以及重要的改进模型,包括WGAN、深度卷积生成对抗网络和当前最顶级的深度生成模型BigGAN;第三类方法是对似然函数进行适当变形的流模型和自回归模型,流模型利用可逆函数构造似然函数后直接优化模型参数,包括以NICE为基础的常规流模型、变分流模型和可逆残差网络(i-ResNet),自回归模型(NADE)将目标函数分解为条件概率乘积的形式,包括神经自回归密度估计(NADE)、像素循环神经网络(PixelRNN)、掩码自编码器(MADE)以及WaveNet等.详细描述上述模型的原理和结构以及模型变形后,阐述各个模型的研究进展和应用,最后对深度生成式模型进行展望和总结.

关键词：深度生成式模型受限玻尔兹曼机变分自编码器流模型生成对抗网络自回归分布估计

维普期刊数据库

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于深度神经网络的众包学习研究与应用

基于深度神经网络的众包学习研究与应用

作者：韦梦龙南京航空航天大学

学位级别：硕士

在机器学习领域,监督学习取得了卓越的效果,训练一个好的监督学习模型需要大量的有标记数据,而大量准确的标注往往很难获得,因此在实际应用中普适性很低。为快速地收集大量标注,众包平台应运而生。众包是一种集众人智慧的标签获取方法,... 详细信息

在机器学习领域,监督学习取得了卓越的效果,训练一个好的监督学习模型需要大量的有标记数据,而大量准确的标注往往很难获得,因此在实际应用中普适性很低。为快速地收集大量标注,众包平台应运而生。众包是一种集众人智慧的标签获取方法,将标注任务分发给有标注能力的非专业者。同时为了降低非标注者可能出现的极端错误影响,采用冗余策略,即标注任务由多个标注者承担,每个标注者承担部分标注任务以降低标注代价。众包提供了一种灵活快速的标注收集方式,但也不可避免地引入了标注噪声和缺失。经典的众包学习方法大多以概率图模型为基础,着重刻画众包标注生成过程,以估计样本真实标记,对样本特征的学习利用则较初步。而深度神经网络在数据表示学习上有非常好的效果。本文利用深度神经网络的表示学习能力,结合众包标注数据的特性做了调研与探索,并取得以下成果:一、针对众包标注的稀疏特点,提出了对抗融合的深度神经网络架构,利用特征空间信息补全缺失的标注。当标注比较稀疏时,标注信息不足以训练一个泛化性较好的模型,借鉴生成对抗网络的对抗融合思想,利用标注者信息之间的互补性,预测各个标注者的缺失标注,提升各标注者对应分类器的性能,从而提高模型的整体性能。实验结果验证了对抗融合方式的有效性。二、深度神经网在特征表示学习方面具有优势,而概率图模型对结构化的标注噪声及标注者相关性建模具有优势,本文结合二者优势提出深度生成式众包学习的方法。该模型由深度神经网络分类器和标注生成过程组成,其中,标注生成过程通过引入各类别内标注者能力的混合模型以建模标注者相关性。为自适应地匹配数据及模型复杂度,实现了完全贝叶斯推断,并基于结构变分自编码器的自然梯度随机变分推断技术实现端到端的优化。在22个真实众包数据集上的实验验证了方法的有效性。三、将上述众包学习算法应用于基于视觉的智能体测系统。传统的体测通过人工对学生考试监督和记录成绩,效率低,而且可靠性不高。针对体测中的跳绳项目,本项目将众包学习技术与传感设备相结合,开发一套智能跳绳体测系统。跳绳是一个动态过程,利用众包方式高效地收集标记信息,基于众包学习算法识别考生跳绳姿态,判断考生是否属于跳绳动作以及是否作弊,再与传感器设备的信息相结合判定考生是否完成了一次跳绳动作,将成绩存储到数据库中。该系统已经应用到实践中,并取得较好的效果。

关键词：众包学习深度学习对抗融合深度生成式模型智能体测系统

连续学习场景下的表示学习算法与网络结构研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

连续学习场景下的表示学习算法与网络结构研究

作者：展旭晖中国石油大学(北京)

学位级别：硕士

机器学习的目标之一是更自然地学习一系列即将到达的任务。连续学习模仿了人类的真实学习模式,在不忘记旧知识的同时,不断学习新知识。在过去的几十年里,这种学习方法受到了很大关注。然而,由于连续学习中普遍存在的灾难性遗忘现象,即... 详细信息

机器学习的目标之一是更自然地学习一系列即将到达的任务。连续学习模仿了人类的真实学习模式,在不忘记旧知识的同时,不断学习新知识。在过去的几十年里,这种学习方法受到了很大关注。然而,由于连续学习中普遍存在的灾难性遗忘现象,即模型在学习新知识的过程中很容易忘记先前学习过的旧知识。这种现象将影响模型的鲁棒性能。因此,如何克服灾难性遗忘问题以提高模型的整体稳定性仍然是当前深度学习中连续学习领域的一大挑战。目前连续学习场景存在三种方法策略,其中,通过回放先前任务样例来避免遗忘的策略是一种较为理想的方式。然而,简单的回放行为缺乏策略性,既忽略了样例内部具有的丰富特征,也忽略了真实环境中的数据复杂度与安全性。因此,本文从表示学习出发,对优化记忆回放策略进行了如下的研究:(1)本文在类增量学习场景下建立了特征分离的连续学习模型。该模型将输入样例转化为不同类样例间的共享特征和同类样例间的特有特征。在新任务即将到来时,不同类样例间的共享特征将通过深度生成式模型转化为重构样本,加入新任务进行共同训练,在缓解灾难性遗忘问题的同时,优化了模型的体量并减少了运算代价。(2)模型在训练后期,存在输入样例类型过于复杂的现象,特征分离的连续学习模型难以提取出多类样例间的共享特征,因此,本文提出“超类设想”以简化样例的分类机制。在这个设想下,本文通过引入非对比学习的思想,探索出了一种基于任务级共享隐表示对齐的连续学习模型。为了验证上述两种模型的稳定性能与抗遗忘能力,本文在通用数据集Split-MINST与Fashion-MINST上进行训练,并通过两个衡量指数进行分析。实验结果表明,本文提出的两种模型可以出色地学习不同任务间样例的相似性特征,其中,任务级共享隐表示对齐的连续学习模型拥有更好的性能,可以更好地缓解对连续学习场景中出现的灾难性遗忘问题。

关键词：连续学习表示学习深度生成式模型超类非对比学习