检索结果-南通市图书馆

面向平均一阶依赖贝叶斯网络分类器的双重加权学习策略

在线全文

学校读者我要写书评

暂无评论

面向平均一阶依赖贝叶斯网络分类器的双重加权学习策略

作者：谢亦斌吉林大学

学位级别：硕士

分类作为机器学习的基本任务之一,被广泛用于解决现实生活场景中的诸多问题。解决分类任务的关键是生成一个既能为数据提供结构化知识表示又具有良好分类性能的分类器。贝叶斯网络分类器(Bayesian network classifier,BNC)长期以来一直... 详细信息

分类作为机器学习的基本任务之一,被广泛用于解决现实生活场景中的诸多问题。解决分类任务的关键是生成一个既能为数据提供结构化知识表示又具有良好分类性能的分类器。贝叶斯网络分类器(Bayesian network classifier,BNC)长期以来一直是以图形方式表达预测属性之间依赖关系的流行媒介,它可以通过估计不同类标签的后验概率分布来自然地处理不确定性背景下的推理问题。自从朴素贝叶斯(Naive Bayes,NB)广泛且成功的应用后,关于BNC的研究极大地吸引了研究者们的注意。由于其不现实的条件独立性假设,NB具有简单的拓扑结构以及优秀的计算复杂度,但在概率估计上仍表现欠佳。因此研究者们提出了许多方法通过放松其属性的条件独立性假设来改善NB的性能。在这些方法中,平均一阶依赖估计器(Averaged one-dependence estimators,AODE)的表现尤为出众,它通过平均一系列的超父属性一阶依赖估计器(Superparent one-dependence estimator,SPODE)的概率估计进而得到最终决策结果。AODE在保留了NB简单的拓扑结构的同时在偏差与方差上取得了均衡的良好表现,因此它成为了最受欢迎的BNC之一。然而,与NB类似,SPODE的条件独立性假设在现实中难以成立。此外,AODE在进行集成学习时所采取的平均策略忽略了SPODE成员之间的差异,从而影响了AODE的分类精度以及泛化性能。为了进一步改善NB或AODE的性能,研究者们提出了许多改进方法,包括结构拓展、属性选择、属性加权、模型选择、模型加权以及懒惰式学习等。相较于其他改进方法,属性加权和模型加权方法能够动态地为每个属性或子模型赋予权值,通过增加高置信度属性或子模型在分类结果中所占比重从而提升模型的分类精度和泛化性能。因此本文创新地将属性加权和模型加权方法同时应用于对AODE的改进中,提出了一种面向AODE的双重加权学习策略,从而得到了名为双重加权的平均一阶依赖估计器(Double weighting schema of AODE,DWAODE)的BNC模型。在属性加权阶段,本文引进了半逐点互信息和半逐点条件互信息两种信息论测度来识别变量间的关键依赖关系同时为属性赋予权重,从而调整每个预测属性的条件概率估计并且使得生成的模型更加拟合于数据。在模型加权阶段,本文应用逐点对数似然函数来衡量SPODE网络拓扑结构的合理性,进而调整模型的联合概率估计。此外,为了进一步解决独立同分布假设的问题,本文还融合了局部学习方法以学习特定数据点的局部最优权重。为了进一步验证双重加权学习策略的有效性,本文引进了0-1损失函数、偏差-方差分解、均方根误差以及Friedman检验和Nemenyi检验作为评价指标。在34个UCI数据集上的实验结果表明,与一系列包括WATAN、AODE、WAODE-MI、IBWAODE、AVWAODE-IG、AWAODE等在内的其他优秀BNC算法相比,DWAODE均有着较强的竞争力,并且在分类性能以及数据拟合上取得了优秀的综合表现。

关键词：贝叶斯网络分类器平均一阶依赖估计器属性加权模型加权

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于半监督学习的平均一阶依赖估计器加权

基于半监督学习的平均一阶依赖估计器加权

作者：张帅吉林大学

学位级别：硕士

长期以来,贝叶斯网络(Bayesian Network,BN)是一种被用于在不确定性条件下进行知识表示与推理的流行媒介。贝叶斯网络分类器(Bayesian Network Classifier,BNC)是BN的一种特殊形式,它主要用于解决机器学习领域中的分类问题。在众多BNC中... 详细信息

长期以来,贝叶斯网络(Bayesian Network,BN)是一种被用于在不确定性条件下进行知识表示与推理的流行媒介。贝叶斯网络分类器(Bayesian Network Classifier,BNC)是BN的一种特殊形式,它主要用于解决机器学习领域中的分类问题。在众多BNC中,平均的一阶依赖估计器(Averaged One-dependence Estimators,AODE)不需要进行参数调整或结构学习,其时间复杂度与训练数据的样本容量呈线性相关。与其他经典的BNC有所不同,AODE使用集成学习策略构建了一组网络拓扑结构相对固定的超父结点一阶依赖估计器(Superparent One-dependence Estimator,SPODE)作为其子模型,并将这些子模型的联合概率计算结果进行算术平均,进而基于最大后验概率估计的方法实现对任意一个无类变量的测试样本的预测。集成学习策略与相对固定的网络拓扑结构使得AODE在均衡了偏差与方差表现的同时展现出了卓越的分类性能,因而它在过去很长的一段时间内极大地吸引了众多研究者们的注意力。然而,AODE在对SPODE进行集成学习时所使用的基于属性值频率的模型筛选法已被证明是有一定局限性的,该方法可能对分类器的泛化性能产生负面影响,并使模型在对后验概率分布进行估计时产生偏差。为了解决这一问题,研究者们提出了许多对AODE的改进策略,这其中主要包括有模型加权、模型选择和懒惰式学习三类。相较于其他改进策略而言,使用模型加权策略的改进AODE既可以保留高分类精度、低方差的优点,同时无需进行复杂的结构学习,从而避免了该学习过程所带来的高额时间开销问题,因此本文研究的主要重点为基于模型加权策略的集成模型改进算法。根据对权重系数的学习策略不同,现有的关于模型加权策略研究中所使用的加权方法可以分为基于监督学习思想的监督加权(Supervised Weighting,SW)与基于无监督学习思想的无监督加权(Unsupervised Weighting,UW)两类。前者可能导致生成的模型对训练数据过拟合而对测试数据欠拟合,后者则可能会出现与前者恰好相反的现象,这两种现象均会影响分类器的泛化能力。过去关于模型加权策略的研究,基本是以单独表现SW或UW的有效性为主,关于这两类策略的互通性却几乎没有被提及。本文在受到半监督学习的启发下提出了半监督加权(Semi-supervised Weighting,SSW)的框架来研究当SW与UW联合起来使用时对AODE改进的有效性。在SSW框架中,模型在训练阶段从带类变量的训练数据中学习类变量与SPODE超父结点属性之间的互信息作为SPODE的权重系数以生成监督加权AODE(Supervised Weighted AODE,SWAODE)模型;模型在分类阶段从每个无类变量的测试样本中学习类变量与SPODE超父结点属性值之间的局部互信息作为权重系数以衡量测试样本中属性值之间的相互关系,并生成无监督加权AODE(Unsupervised Weighted AODE,UWAODE)模型。对数似然函数可以用于衡量BNC对数据拟合效果的优劣,因此在SWAODE与UWAODE的集成阶段本文引入了对数似然函数对这两种加权AODE在拟合数据方面的表现进行整体评估,并使用了基于该函数值的线性加权法对SWAODE与UWAODE的联合概率分布求期望值,最终生成了半监督加权AODE(Semi-supervised Weighted AODE,SSWAODE)模型。来自UCI数据库的38个数据集的实验结果表明,SSWAODE与包括NB、TAN、WATAN、CFWNB、AODE、WAODE-MI、AVWAODE-KL等算法在内的其他先进的BNC相比,在分类精度、偏差与方差、ROC曲线下面积等评价体系下均有着较强的竞争力。

关键词：贝叶斯网络分类器平均的一阶依赖估计器模型加权半监督学习半监督加权对数似然函数

语种识别中基于局部多样性建模的向量空间模型

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

清华大学学报（自然科学版） 2011年第2期51卷 161-165页

作者：邓妍张卫强刘加清华大学电子工程系清华信息科学与技术国家实验室北京100084

针对语种识别中大规模数据库的训练问题,提出一种基于局部多样性建模的向量空间模型。首先将训练数据库分成若干个小数据库,然后利用每个小数据库来训练不同的向量空间模型,最后对不同的模型进行加权组合。为了有效地对不同模型进行组合... 详细信息

针对语种识别中大规模数据库的训练问题,提出一种基于局部多样性建模的向量空间模型。首先将训练数据库分成若干个小数据库,然后利用每个小数据库来训练不同的向量空间模型,最后对不同的模型进行加权组合。为了有效地对不同模型进行组合,需要对模型的加权系数进行优化。对模型组合算法从理论上进行推导,在模型权重与分数线性融合系数之间建立起对应的数学关系,并提出采用逻辑回归方法对不同模型的权重进行估计。在美国国家标准技术局(NIST)2009年度语种识别测试库上的实验结果表明:所提方法不仅能够处理大规模的训练数据,而且相比传统方法识别性能也有了一定程度的提高,系统的等错误率在30 s、10 s和3 s的测试条件下分别下降了8.44%、5.91%以及3.45%。

关键词：语种识别向量空间模型局部多样性模型加权逻辑回归

在线全文

学校读者我要写书评

暂无评论

基于模型混淆度的模型组合算法研究

自动化学报 2009年第5期35卷 551-555页

作者：吴娅辉刘刚郭军北京邮电大学模式识别与智能系统实验室北京100876

传统的声学模型训练算法如最大似然估计(Maximum likelihood estimation,MLE),在训练时只考虑了模型自身而没有考虑模型之间的相互影响.为了进一步提升模型的识别效果,区分性训练算法被提出.本文在最小音素错误(Minimum phone error,MPE... 详细信息

传统的声学模型训练算法如最大似然估计(Maximum likelihood estimation,MLE),在训练时只考虑了模型自身而没有考虑模型之间的相互影响.为了进一步提升模型的识别效果,区分性训练算法被提出.本文在最小音素错误(Minimum phone error,MPE)区分性训练算法的基础上提出一种基于模型间混淆程度进行模型组合的算法:针对单混合分量模型,依据模型间混淆程度对MLE和MPE的模型进行加权组合;针对多混合分量模型,提出一种模型选择的算法来获取新的模型参数.实验表明,与MPE算法相比,对单分量的情况,该算法可以使系统的误识率相对降低4%左右;对于多分量的情况,该算法可以使系统的误识率相对降低3%左右.

关键词：模型加权区分性训练最小音素错误最大似然估计

在线全文

学校读者我要写书评

暂无评论

基于证据理论加权的电力负荷组合预测

电气应用 2015年第15期34卷 48-51,60页

作者：李娜赵建东青岛黄海学院实践教学部

为了提高电力负荷的预测准确度,提出了一种基于证据理论加权的电力负荷组合预测模型。首先分别采用自回归移动平均模型、灰色模型和BP神经网络对电力负荷进行预测,分别得到电力负荷的线性、周期性和非线性预测结果;然后采用证据理论确... 详细信息

为了提高电力负荷的预测准确度,提出了一种基于证据理论加权的电力负荷组合预测模型。首先分别采用自回归移动平均模型、灰色模型和BP神经网络对电力负荷进行预测,分别得到电力负荷的线性、周期性和非线性预测结果;然后采用证据理论确定自回归移动平均模型、灰色模型和BP神经网络的预测权值;最后进行加权得到电力负荷的预测结果,并将该模型应用于具体的电力负荷建模与预测中。实验结果表明,该模型可以描述各单一模型对电力负荷预测结果的贡献,更加准确地描述电力负荷的变化特点,预测准确度能够满足实际应用的要求。

关键词：电力负荷自回归移动平均模型证据理论模型加权

基于Mine2Vec煤矿风险推送机制的研究与实现

在线全文

学校读者我要写书评

暂无评论

煤炭技术 2024年第5期43卷 224-227页

作者：薛娜周明全陈超华北科技学院河北廊坊065201 北京师范大学北京100091

为了及时发现和预防可能出现的煤矿安全隐患和安全事故,基于Mine2Vec的煤矿风险推送模型与Item2Vec的用户访问信息推送模型加权融合,实现了煤矿风险推送机制,并应用于“互联网+”煤矿安全管控平台中。经Hololens2眼动仪验证,平台内容经... 详细信息

为了及时发现和预防可能出现的煤矿安全隐患和安全事故,基于Mine2Vec的煤矿风险推送模型与Item2Vec的用户访问信息推送模型加权融合,实现了煤矿风险推送机制,并应用于“互联网+”煤矿安全管控平台中。经Hololens2眼动仪验证,平台内容经模型推送后,点击次数、注视时长明显增多。研究成果可为用户推送相似煤矿企业的风险信息及其他煤矿风险资讯,使用户提前预防和规避煤矿风险。

关键词：推送系统模型加权煤矿安全煤矿监察