基于启发式搜索与预标注的中文CCG句法分析

作     者：周金龙 

作者单位：复旦大学 

学位级别：硕士

导师姓名：黄萱菁

授予年度：2013年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：中文句法分析 组合范畴语法 启发式搜索 预标注 

摘      要：组合范畴语法(Combinatory Categorial Grammar, CCG)是一种词例化的语法形式,可以通过一阶逻辑实现从语法到语义的自动推理,因此十分适用于需要语义分析的应用场景。同时组合范畴语法提供了相当灵活的语法成分,使得其能够有效地表示许多复杂的语法现象,以及涵盖局部或是非局部的依赖关系。因此组合范畴语法在语义解析、文本推理、自动问答等人工智能任务当中都有非常重要的应用。 对组合范畴语法进行高效的句法分析是当前自然语言处理领域的一大难题。相较于一般的上下文无关语法,组合范畴语法的句法分析要困难得多。主要原因在于其产生的非终结符和语法规则的数量要远远大于普通的上下文无关语法,从而使得其句法分析的复杂度大大提高。 本文针对中文组合范畴语法分析困难的特点,重点研究了如何将两种彼此相互独立的技术共同应用在中文组合范畴语法句法分析上。首先本文使用了预标注算法,通过经典的对数线性概率模型,去除了句子当中那些概率较低的词汇范畴,从而实现了对句子的潜在分析空间进行剪枝。然后又应用了启发式搜索算法进一步加速句法分析过程。最后本文从时间效率和分析精度两个维度对所使用的方法进行了验证。 在研究的过程中,本文主要取得了以下的研究成果： 1.据作者所知,本文是第一次提出了针对中文组合范畴语法的句法分析器,其中使用了生成式模型对中文组合范畴语法进行了上下文无关语法建模;2.在句法分析过程中结合使用了预标注算法与启发式搜索加速句法分析过程,提高了中文组合范畴语法的句法分析效率,同时还证明了预标注算法能够有效地修正原有算法概率模型当中的错误偏置;3.在中文组合范畴语法树库语料上对本文应用的句法分析方法进行了实验,量化地分析了所用算法的具体改进效果,无论是句法分析的效率还是精度,实验结果都表明其获得了显著的提升。