基于条件随机域的Web信息抽取研究

作     者：朱道辉 

作者单位：南华大学 

学位级别：硕士

导师姓名：肖基毅

授予年度：2010年

学科分类：08[工学] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 

主      题：Web信息抽取 条件随机域 长距离依赖 XML XCRF 

摘      要：随着互联网资源的迅速增长,仅仅依靠浏览器以及基于关键字检索查询的搜索引擎,已远不能满足互联网用户的信息需求,Web信息抽取应运而生。本文以条件随机域模型为主要研究内容,研究了结构新颖的条件随机域模型,选择了一种适合Web信息抽取的条件随机域,提出了基于该模型的Web信息抽取系统。本文的工作和特点如下: 鉴于目前国内对线性链式条件随机域这一简单模型研究和应用得比较多,但是对结构复杂,能对数据更好建模的条件随机域模型研究得很少,本文在前人的基础上研究了两类结构新颖的条件随机域模型,对这些模型的数学表达式、算法进行了系统的研究,为下一步工作打下了坚实的理论基础。 CRF模型相比HMM,可以加入远距离、重叠性等特征。虽然CRF模型在国内已得到广泛应用,但所研究的模型多是基于马尔可夫假设的线性链模型,该模型不能够表达节点间的长距离依赖关系,所以很少有对在模型中加入长距离特征的研究。本文对这个问题进行了专门研究,提出了长距离依赖条件随机域模型,并基于该模型进行了Web文本信息抽取实验,结果表明长距离特征确实对提高模型的抽取性能有很大帮助。 近年来,利用统计模型进行Web信息抽取的研究越来越多,但大部分抽取系统存在共同的缺陷:一方面可扩展性较差,特征函数都内置在源代码中,对于有不同需求的抽取者来说,几乎不能定制自己的特征函数;另一方面为了获得较好的抽取性能,模型需要大量的训练页面,而标记训练页面是非常耗时耗力的。本文结合XML技术的可扩展性和方便交流性,提出了XML条件随机域模型。该模型将标签集,特征函数都存放在一个独立于源代码的XML文件中,特征函数用XPATH表达式表示,这样有不同需求的抽取者,不需对源代码进行了解,就可以很方便的编写自己的特征函数;另外提出了一种三角边特征,该特征能充分表达Web页面的层次结构特征,使模型只需少量训练页面就能达到较好的性能。最后提出了基于XCRF进行Web信息抽取的模型,实验结果表明抽取性能良好,XCRF更适合于Web信息抽取。