检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

高斯分布受限玻尔兹曼机及其高维扩展

高斯分布受限玻尔兹曼机及其高维扩展

作者：刘思萌北京工业大学

学位级别：硕士

受限玻尔兹曼机（Restricted Boltzmann Machine,RBM）是一种特殊的神经网络模型,它常常用于构建深度神经网络,被广泛应用于数据重建、数据分类和模式识别中。传统的RBM仅有两层,即可视层和隐藏层,这两层数据都是基于伯努利分布假设的... 详细信息

受限玻尔兹曼机（Restricted Boltzmann Machine,RBM）是一种特殊的神经网络模型,它常常用于构建深度神经网络,被广泛应用于数据重建、数据分类和模式识别中。传统的RBM仅有两层,即可视层和隐藏层,这两层数据都是基于伯努利分布假设的二值数据,并且均表示为向量形式。传统模型对于满足伯努利分布的二值数据具有良好的应用效果,但对于分布在实数域上的数据则会带来一些问题。由于现实中的数据大多分布复杂,因此设计能更好刻画现实数据分布的RBM模型,具有很大的实用价值。另外,传统RBM模型要求输入输出数据均具有向量的表示形式。但是现实中的数据常常是高维数据,例如图像、视频数据等。传统RBM在处理复杂高维数据时,通常将其转化为列向量,再进行后续的分析与表示,但这种向量化的方法会严重破坏原始数据的内部结构信息,同时也会带来维度灾难。为了解决这两个问题,本文提出了可视层和隐藏层数据均服从高斯分布的基于矩阵变量的受限玻尔兹曼机模型。该模型要求输入输出数据均具有矩阵表示形式,从而避免了向量化过程带来的各种问题,同时这一模型也可以直接推广到张量表示的数据,因此具有更大的使用范围。本文的工作主要包含以下几个方面:（1）针对传统受限玻尔兹曼机模型中可视层和隐藏层数据满足伯努利分布的假设,提出了输入、输出数据均服从高斯分布的受限玻尔兹曼机模型,并给出了模型的训练求解过程。高斯分布的假设使得模型可以建模分布在实数域上的数据,具有更广的适用范围。在多个公共数据库上的重构实验以及分类实验证明此模型的有效性。（2）针对可视层和隐藏层数据向量表示形式存在的问题,提出了矩阵变量高斯分布受限玻尔兹曼机（MVGRBM）,并给出了模型的训练求解过程。该模型避免了向量化过程中破坏数据空间结构信息的问题。模型训练时,为了减少模型参数,降低训练模型的复杂度,引入了一种权重张量的分解表示。在多个公开数据库上的重构和分类实验,均获得较好的重构效果和分类准确率。（3）将矩阵变量高斯分布受限玻尔兹曼机扩展到多模态数据上,提出了多模态矩阵变量高斯分布受限玻尔兹曼机,基于此模型的图像超分辨实验也获得了较为满意的效果。

关键词：高斯分布受限玻尔兹曼机矩阵变量高斯分布受限玻尔兹曼机张量分解

基于受限玻尔兹曼机的RNA相互作用预测研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于受限玻尔兹曼机的RNA相互作用预测研究

作者：王晓囡华中师范大学

学位级别：硕士

RNA由核苷酸聚合而成,是细胞中基本的生物大分子之一。RNA会参与中心法则中蛋白质的合成,具有催化和调控的功能,与神经系统、心血管和癌症等疾病的发生及发展密切相关。RNA的功能依赖于自身的三维分子结构,由于RNA易于降解和柔性较强等... 详细信息

RNA由核苷酸聚合而成,是细胞中基本的生物大分子之一。RNA会参与中心法则中蛋白质的合成,具有催化和调控的功能,与神经系统、心血管和癌症等疾病的发生及发展密切相关。RNA的功能依赖于自身的三维分子结构,由于RNA易于降解和柔性较强等原因,现有的实验技术较难测定较为复杂的RNA三级结构。近年来发展的RNA结构预测方法可以较好搭建拓扑结构简单的RNA分子结构,对于序列较长和结构较为复杂的分子仍预测精度较低。研究表明,核苷酸-核苷酸相互作用信息对RNA分子结构预测与建模有重要的帮助。例如,直接偶合分析模型可以从RNA的同源序列中推断出核苷酸-核苷酸相互作用,但预测精度有待提高。因此,目前急需发展能精准预测RNA核苷酸-核苷酸相互作用的新方法。本文发展了基于受限玻尔兹曼机的RNA相互作用预测新方法（DIRECT）。该方法可以利用已知RNA的非同源结构特征和未知RNA的同源序列信息预测其RNA的核苷酸-核苷酸相互作用。首先,使用受限玻尔兹曼机模型统计分析非同源RNA的结构特征。然后,利用直接耦合分析（DCA）模型统计分析目标RNA的同源序列并得到序列的共进化信息。最后,将共进化信息和结构特征结合,提高RNA核苷酸-核苷酸相互作用的预测精度。我们将DIRECT在标准测试集上进行了测试,结果表明,该方法与传统的mfDCA和plmDCA预测模型相比,预测精度分别提高了 41%和18%;而且,DIRECT对序列间隔24nt以上的核苷酸-核苷酸长程相互作用有较为明显的改进。DIRECT可以较好的识别RNA预测模型中的天然态核苷酸-核苷酸相互作用,对RNA结构预测和建模有较为明显的帮助。基于受限玻尔兹曼机的RNA相互作用预测模型可以显著提高RNA核苷酸-核苷酸相互作用的预测精度,有效预测对RNA拓扑结构有较大影响的核苷酸-核苷酸相互作用,对RNA结构预测有较大帮助。

关键词：核糖核酸核苷酸相互作用受限玻尔兹曼机直接耦合分析

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

自适应基数受限玻尔兹曼机

自适应基数受限玻尔兹曼机

作者：万程清华大学

学位级别：硕士

近年,深度学习在特征抽取方向上取得了许多令人满意的研究成果。重要的原因之一是使用受限玻尔兹曼机作为构成深度神经网络的基础结构。同时,致力于提升受限玻尔兹曼机性能的研究工作也相继出现。其中在该模型中引入稀疏性是该研究领域... 详细信息

近年,深度学习在特征抽取方向上取得了许多令人满意的研究成果。重要的原因之一是使用受限玻尔兹曼机作为构成深度神经网络的基础结构。同时,致力于提升受限玻尔兹曼机性能的研究工作也相继出现。其中在该模型中引入稀疏性是该研究领域的一个非常重要的研究方向。基数受限玻尔兹曼机是现有方法之一,其特点是在模型的联合概率分布上直接引入对隐藏层单元激活数量的限制。这种方法的局限性在于假设存在一个对于所有输入数据均适用的隐藏层单元激活数量的阈值。然而很多情况下这样的假设并不能成立,因而限制了该模型的性能。为了解决该问题,本文提出一种基于基数受限玻尔兹曼机的框架——自适应基数受限玻尔兹曼机,该框架包括以下特点:(1)每一个输入数据都拥有自己相应的阈值,且通过合适的概率分布来对输入数据的阈值进行建模,并能够根据输入数据的实际情况来调整分布(通常是调整分布中的参数),即自适应。(2)该框架中模型的学习算法不依赖于具体的分布,使用不同分布只会造成学习算法中抽样过程的不同。本文基于基数受限玻尔兹曼机开展相关研究,研究工作主要包括:1.提出了可以使用概率分布来对受限玻尔兹曼机中隐藏层单元激活阈值进行建模的观点,并依据该观点提出自适应基数受限玻尔兹曼机。2.理论证明了用于建模激活阈值的概率分布可以被替换,并对选择分布的原则进行了分析。3.以高斯分布为例,展示了自适应基数受限玻尔兹曼机的具体形式——高斯基数受限玻尔兹曼机,详尽叙述了使用高斯分布的理由和优势,并提出了该模型的学习方法。4.设计并实现了基于高斯基数受限玻尔兹曼机的图片分类系统。5.在两个真实数据集上进行的实验,实验结果表明该模型的性能优于基数受限玻尔兹曼机。同时分析了该模型的局限性,并提出了解决方案。

关键词：深度学习受限玻尔兹曼机稀疏性高斯自适应

基于光滑L0范数的受限玻尔兹曼机及其应用研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于光滑L0范数的受限玻尔兹曼机及其应用研究

作者：郑强长安大学

学位级别：硕士

深度学习网络模型作为一种新型的多层神经网络模型,拥有强大的复杂数据表示能力,已经引起了不同领域学者的广泛关注.在深度学习的主流模型中,受限玻尔兹曼机(Restricted Boltzmann machines,RBM)往往是其重要的组成构架.通过优化几个堆... 详细信息

深度学习网络模型作为一种新型的多层神经网络模型,拥有强大的复杂数据表示能力,已经引起了不同领域学者的广泛关注.在深度学习的主流模型中,受限玻尔兹曼机(Restricted Boltzmann machines,RBM)往往是其重要的组成构架.通过优化几个堆叠的RBM,深度网络可以高效地完成训练并在目标任务中获得较满意的效果,这充分说明RBM在深度学习中占据着重要的地位.因此,关于RBM的研究具有重要的理论价值和现实意义.本文首先对RBM进行改进,其次将改进后的多个RBM堆叠形成一个深度网络,最后将该网络应用于SAR图像变化检测中,具体的研究工作如下.(1)具有无约束隐层的RBM会产生冗余的编码和无结构的权重模式,这会影响其特征提取能力.稀疏表示能够获得简洁的编码和结构化的权重模式,进而提升RBM的特征提取能力.通过在目标函数后添加光滑L范数是实现稀疏表示的一种重要方法,因此,本文提出一种全新的基于光滑L范数的稀疏约束RBM模型,令为SmoothRBM.本文针对手写字体数据集做了相关的实验,包括对基于改进模型的特征提取性能进行可视化评价,对特征稀疏度以及表示的判别力进行实验分析.实验结果表明,SmoothRBM的特征提取能力比WeihgtdecayRBM、SparseRBM和PCA模型的特征提取能力更强.(2)将多个SmoothRBM堆叠起来,本文构建一个全新的基于光滑L范数的稀疏约束深度信念网络(Deep belief nets,DBN),称之为SmoothDBN.实验结果表明,SmoothDBN在手写字体数据集的测试集上分类误差率为0.98%,而DBN、WeihgtdecayDBN和SparseDBN等一些优秀的分类器在测试集上分类误差率均在1%以上.(3)基于SmoothDBN研究SAR图像变化检测问题.该方法的主要思想是将SmoothDBN直接作用于变化前后的两幅图像以获得最终的变化检测结果.在多组真实的SAR图像上的检测结果表明,从OE、Kappa等评价指标上来看,本文的新方法比DBN和GKI两个优秀的检测方法拥有更佳的检测效果.

关键词：受限玻尔兹曼机深度学习光滑L0范数深度信念网络 SAR图像变化检测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于受限玻尔兹曼机的深度网络逼近能力分析

基于受限玻尔兹曼机的深度网络逼近能力分析

作者：刘阳北京工业大学

学位级别：硕士

在数学中,神经网络的学习能力可以看作是一个函数逼近问题。基于这一观点,我们可以将深度神经网络视为一个函数逼近器。在实际应用中,有许多深层网络模型基于概率生成模型进行分析,并将神经网络的学习能力看作是一个概率分布逼近问题,... 详细信息

在数学中,神经网络的学习能力可以看作是一个函数逼近问题。基于这一观点,我们可以将深度神经网络视为一个函数逼近器。在实际应用中,有许多深层网络模型基于概率生成模型进行分析,并将神经网络的学习能力看作是一个概率分布逼近问题,即深度神经网络的输出可以近似于某个随机变量的概率分布。本论文从神经网络的理论研究出发,以现有的理论、方法为基础,对受限玻尔兹曼机（RBM）和深度玻尔兹曼机（DBM）的逼近性进行了分析。一般理论分析主要关注网络的逼近能力随着网络层数和神经元个数的增加会不断提高。而事实上,由于参数的增多会导致过拟合,因此更多的层数和神经元个数往往不是最好的选择。本文就这一问题展开研究,并给出了解释。一是解释了当RBM的逼近能力达到最优时,继续增加隐藏神经元的个数如何对RBM的逼近能力产生负的影响。另外解释了当DBM的逼近能力达到最优时,继续增加网络层数如何导致DBM的逼近能力下降。本文第一章介绍了论文的研究背景和意义,以及神经网络逼近性分析的国内外研究现状;第二章介绍了RBM、DBN和DBM的概念与网络结构,对RBM、DBN和DBM作为通用近似器作了详细介绍;第三章阐述了本文的主要结论与证明。

关键词：受限玻尔兹曼机神经网络深度玻尔兹曼机概率分布逼近能力

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于可抛堆叠受限玻尔兹曼机的图像分类方法

基于可抛堆叠受限玻尔兹曼机的图像分类方法

作者：肖亮湖北工业大学

学位级别：硕士

图像分类是指根据一定的分类规则将图像自动分到一组预定义类别中的过程,它可以应用于许多领域,如人脸识别和医疗图像处理。传统的图像分类方法一般是使用人工设定的特征模式对图像进行特征提取,然后使用分类器对提取到的特征进行分类... 详细信息

图像分类是指根据一定的分类规则将图像自动分到一组预定义类别中的过程,它可以应用于许多领域,如人脸识别和医疗图像处理。传统的图像分类方法一般是使用人工设定的特征模式对图像进行特征提取,然后使用分类器对提取到的特征进行分类。然而对于具有复杂内容的图像,人工提取的特征难以符合实际需求,降低了分类的精度。相比传统基于特征的图像分类方法,深度学习可以实现自动提取特征,不需要人为干预,但是它提取的特征,没有对应的数学或物理含义,需要根据分类结果反复调整网络参数,以提取更合适的特征。深度置信网络是深度学习的分支,它有效的解决了特征有效性的问题,但是深度置信网络存在参数过多,导致优化算法优化困难,容易陷入局部最优。本文在总结研究深度学习图像分类方法的基础上,对运用深度置信网络模型解决图像分类问题进行了深入研究,设计了一个新的基于深度置信网络的图像分类方法及其网络参数优化算法。针对以上问题,本文具体工作如下:（1）提出可抛式堆叠受限玻尔兹曼机和分类网络构成的图像分类网络结构。本文使用堆叠受限玻尔兹曼机构成深度置信网络,该网络的目的是从图像中提取合适的特征,并且该网络可以验证提取特征的正确性。当特征提取完成后,堆叠受限玻尔兹曼机停止运行。特征被送到分类器完成分类任务。该网络可以避免同时调整特征提取网络和分类网络的参数,极大的减少了调整参数的困难。（2）提出了一种全局-局部的改进演化-梯度下降算法,该算法结合了演化算法和梯度下降方法的优点。将改进演化-梯度下降算法作为分类网络的训练算法,用于优化分类网络的参数。在改进演化-梯度下降算法中,首先使用梯度下降算法优化分类网络,当梯度下降算法陷入停滞时,梯度下降算法停止运行,改进的演化算法在梯度下降算法优化的基础上继续优化分类网络中的softmax分类器。该方法使用2种不同原理的优化方法,有效的减少了优化算法陷入局部最优的概率。（3）本文利用mnist手写数字图像数据集和葡萄酒数据集对该网络及优化算法进行了验证。实验结果表明,与其它图像分类方法相比,本文提出的分类方法具有更好的分类精度和抗过拟合能力。

关键词：受限玻尔兹曼机深度置信网络 Softmax分类器改进演化-梯度下降图像分类

基于受限玻尔兹曼机的个体运动健康测评方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于受限玻尔兹曼机的个体运动健康测评方法研究

作者：邬长杰西华大学

学位级别：硕士

健康是人类赖以生存和发展的基础,随着社会的不断进步和科学的不断发展,人们的生活水平得到了极大的提高,但是各种疾病和亚健康也随之而来。为了提高生活的质量,享受更加舒适的生活,人们越来越注重身体健康,并且开始追求科学的健身运动... 详细信息

健康是人类赖以生存和发展的基础,随着社会的不断进步和科学的不断发展,人们的生活水平得到了极大的提高,但是各种疾病和亚健康也随之而来。为了提高生活的质量,享受更加舒适的生活,人们越来越注重身体健康,并且开始追求科学的健身运动,也逐渐意识到适度的健身运动对于健康的重要性。受限玻尔兹曼机是一种生成式随机神经网络,这种神经网络由可见单元和隐藏单元组成,通过权值表达单元之间的相关性。其特点是层内无连接,层间全连接。受限玻尔兹曼机中有Gibbs采样,梯度下降法,对比散度等多种算法。受限玻尔兹曼机在近些年得到了广泛的关注,作为实际应用,其算法在很多方面都显示出了其优越的学习性能,在神经网络的学习中占据了重要的地位。本文首先介绍了运动健康的课题背景,分析了受限玻尔兹曼机在运动健康领域中的适用性和研究意义,阐述了现代都市生活对科学有效的健身运动方式的要求。然后对受限玻尔兹曼机做了一个简介,包含一些基本模型介绍和传统的学习算法介绍,并对训练参数的设置做了详尽的说明。最后,本文在总结前人工作的基础上,研究了基于受限玻尔兹曼机的个体运动健康测评方法,主要工作如下:(1)针对传统受限玻尔兹曼机的缺陷和不足,本文通过对连接权重,可见单元偏置和隐层单元偏置分别增加一项冲量项对传统的受限玻尔兹曼机进行改进,并建立一个基于受限玻尔兹曼机的运动强度测评方法模型,将人体常见的生理指标,如心率,乳酸和相对摄氧量等作为输入,测量个体的运动强度,通过传统的和改进的受限玻尔兹曼机在运动强度测评上的比较和分析,得出相应的结论,给出合理的建议,以保证个体健身运动的安全。(2)在改进的受限玻尔兹曼机基础上,将若干个受限玻尔兹曼机堆叠起来形成深度置信网络,提出一个基于受限玻尔兹曼机的最佳运动量预测方法,通过对个体运动前后体质的分析,预测其最佳运动量,提高个体健身运动的效率。最后,本文将对上述测评方法进行大量的实验,通过实验结果数据证明上述两种测评方法的有效性,也将验证本文运动健康测评方法的可靠性和通用性。总之,本文的研究目的就是运用受限玻尔兹曼机的学习算法提出有效的健康测评方法和模型,实时监测其运动状态,给出合理的建议,长期有效地保障个体健身运动的安全性和高效性,使人们能有目的,有计划地进行健身运动,以满足现代健康生活的需求。

关键词：健康测评受限玻尔兹曼机深度置信网络运动强度最佳运动量

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于受限玻尔兹曼机的协同过滤推荐算法研究

基于受限玻尔兹曼机的协同过滤推荐算法研究

作者：张为易重庆邮电大学

学位级别：硕士

随着移动互联网技术的快速发展,网络信息呈爆炸式增长。用户面对海量复杂且冗余的数据时,用户往往无法快速寻找到有用的信息,这便会造成“信息过载”的问题。为了解决信息过载问题,推荐系统应运而生。推荐系统通过提取项目特征和收集用... 详细信息

随着移动互联网技术的快速发展,网络信息呈爆炸式增长。用户面对海量复杂且冗余的数据时,用户往往无法快速寻找到有用的信息,这便会造成“信息过载”的问题。为了解决信息过载问题,推荐系统应运而生。推荐系统通过提取项目特征和收集用户的历史行为信息,然后结合相关推荐算法为用户推荐感兴趣的项目。推荐算法是推荐系统的灵魂,其中协同过滤算法是目前应用最广泛的推荐算法。然而协同过滤算法也存在着一些不足之处,如处理高度稀疏的数据集时,会导致推荐系统的精度下降从而出现数据稀疏性问题;还有处理大规模数据集时,计算效率过低导致推荐效率下降从而出现可扩展性问题。因此,如何解决数据稀疏性和算法可扩展性问题对协同过滤算法研究具有重要意义。本文以基于受限玻尔兹曼机的协同过滤推荐算法为基础,结合用户信任度、项目时间权重、多源信息聚类算法和Hadoop平台进行研究。本文的主要工作和创新如下:1.针对协同过滤推荐系统中存在的数据稀疏性问题。本文首先以用户信任度和项目时间权重为基础,改进了用户之间的相似度计算公式,然后结合多源信息聚类算法进行评分预测;同时本文也改进了受限玻尔兹曼机模型的可见层,用高斯分布单元替代二值单元,改进后可以表示实值,降低模型复杂度;最后本文通过线性加权方式把改进后的受限玻尔兹曼机模型产生的评分数据和聚类算法产生的评分数据进行融合。通过实验证明,该混合推荐算法降低了平均绝对误差,提高了推荐精度,缓解了数据稀疏性问题。2.针对协同过滤推荐系统存在的算法可扩展性问题。本文以基于多源信息聚类和受限玻尔兹曼机模型为框架,结合Hadoop分布式平台,增加冲量因子,改进受限玻尔兹曼机模型的训练方式。通过实验表明,减少了模型训练时间,提高了推荐效率,缓解了算法可扩性问题。

关键词：受限玻尔兹曼机协同过滤多源信息聚类混合推荐分布式平台

一种提高受限玻尔兹曼机性能的反正切函数逼近L_0范数方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

小型微型计算机系统 2016年第11期37卷 2562-2566页

作者：罗剑江王振友广东工业大学应用数学学院广州510520

受限玻尔兹曼机(RBMs)常常作为深度置信网络(DBN)的基本构成模块,通过训练几个RBM,DBN能够快速地被训练好以获得好的工作效果.为了获得更好的数据表示,受稀疏编码理论的启发,本文提出一种新的稀疏RBM,称为AtanRBM.与稀疏RBM(sparse RBM... 详细信息

受限玻尔兹曼机(RBMs)常常作为深度置信网络(DBN)的基本构成模块,通过训练几个RBM,DBN能够快速地被训练好以获得好的工作效果.为了获得更好的数据表示,受稀疏编码理论的启发,本文提出一种新的稀疏RBM,称为AtanRBM.与稀疏RBM(sparse RBM)不同的是,AtanRBM是添加一个arctan正则项(arctan函数逼近L_0范数)直接地约束隐含单元的概率密度空间来达到隐含单元稀疏的效果,而不是约束隐含单元的平均激活概率期望达到相同的较低稀疏水平.在MNIST数据集的实验表明,AtanRBM比当前相关的模型可以学到更稀疏和更具辨别力的表示形式或表示方法,进而由AtanRBM预训练的深层网络能够获得更好的分类效果.

关键词：数据表示深度信念网络受限玻尔兹曼机稀疏 arctan函数