生成模型中隐变量结构选择方法研究

作     者：蒋硕然 

作者单位：天津科技大学 

学位级别：硕士

导师姓名：陈亚瑞

授予年度：2019年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

主      题：生成模型 高斯混合模型 变分子编码 KSGMM 混合变分自编码 随机梯度变分贝叶斯 隐高斯-多项生成模型 

摘      要：机器学习中的生成模型(Generative Model,GM)用于对数据直接建模或作为条件概率密度函数的中间步骤。生成模型通常是概率性的,指定观测值和目标值(标签)之间的联合概率分布,可以通过贝叶斯概率形成条件分布。该模型假设所有数据都是由同一个潜在的模型生成,这个假设使得我们将未标记数据与学习目标联系在一起。典型的生成模型有:高斯混合模型(Gaussian Mixture Model,GMM),变分子编码(Variational Autoencoders,VAEs)和主题模型算法(Latent Dirichlet Allocation,LDA)等。在对数据进行概率生成模型建模时,对隐变量的先验概率分布的假设会影响模型对数据的拟合。为提高模型的灵活度和拟合度,对隐变量假设先验模型为混合模型是一种有效的方法。在本文中,研究者对GMM和VAEs的隐变量模型进行了改进,并提出 LGMG(Latent Gaussian-Multinomial Generative Model)模型。具体工作如下:第一,针对GMM模型,本文基于期望最大算法(Expectation Maximization Algorithm,EM)提出基于KS检验的高斯混合模型分裂与合并算法(KSGMM)。KSGMM算法以最小描述长度(Minimum Description Length,MDL)为目标函,平衡了数据拟合度与模型复杂度。以信息熵和KS检验对GMM中错误聚类的子模型进行判别,提高了对隐变量的估计精度。第二,针对VAEs模型,本文提出混合变分子编码(Mixture Variational Autoencoders,MVAEs)。MVAEs假设样本由混合模型生成,保留连续隐变量作为样本的隐层表示并引入了一个离散的隐变量。为实现对两个隐变量的变分贝叶斯估计,MAVEs利用多层神经网络学习隐变量的后验参数。结合重抽样技术和蒙特卡洛抽样方法实现了 MVAEs的随机梯度变分贝叶斯算法,并且在MNIST和OMNIGLOT数据库上对比分析了 MVAES、CVAEs、VAEs、SB-VAE、VAEAF 和 GMVAEs 算法的性能。第三,基于对离散隐变量的神经网络变分贝叶斯推理,本文提出了 LGMG(Latent Gaussian-Multinomial Generative Model,LGMG)模型。LGMG 是一个包含两种隐变量的三层贝叶斯模型,用来对图像语义标注信息建模。对比与传统的LDA-based模型和神经网络的方法,LGMG不需要手动的分割图像中的实例,而是用高斯隐变量概括图像的隐层语义信息。本文在LabelMe数据库上对比了 LGMG、tr-mmLDA、cLDA、VAEs和cVAEs模型的变分下界。