HMM基本原理及其在聚类中的应用

作     者：卢鸣 

作者单位：江南大学 

学位级别：硕士

导师姓名：王士同

授予年度：2007年

学科分类：08[工学] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：聚类分析 隐马尔可夫模型 频率敏感 基因表达数据分析 自劈分合并竞争学习 熵 

摘      要：隐马尔可夫模型(Hidden Markov Model)是一种双随机过程,被广泛地应用于模式识别和聚类中并取得了不小的成功。HMM有坚实的统计学基础和有效的学习算法,从而在应用科学中成为一种基础及易于理解的工具。 在实际应用中,对HMM的训练是一个十分重要的问题,特别是在面对非完整数据的情况下。训练的优劣关系到最后聚类效果的好坏。 对HMM的训练就是不断地调整HMM的参数,在已知的观测值序列下,得到最大的似然度。而由于该问题的复杂性,现在还没有高效的,全面的,能得到全局最优化的程序。 在训练过程中,用得最多的是Baum-Welch算法。这是一种处理不完全数据的算法。我们关注的就是如何改进该算法,以此来提高聚类的效果。主要研究工作如下: 1.提出了一种基于频率敏感和HMM的聚类算法。它能有效得避免出现空类或类中数据过少的现象。实验结果证明了该算法的有效性。 2.将自劈分合并竞争学习运用于HMM,提出了一种新的算法。该算法在自劈分过程中,利用熵使每一类中尽可能多的含有同类数据;然后在合并过程中,将含有同类数据的类进行合并,从而提高聚类的效果。