检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于pcfg的藏语句法分析

基于PCFG的藏语句法分析

作者：扎西吉青海师范大学

学位级别：硕士

在藏语自然语言处理领域中字和词的研究已取得了较好的研究成果,句法分析目前还处于起步阶段。句法分析是一个重要的基础性工作,在各个领域都起着举足轻重的作用,也是对藏语进行深层次理解的基础,其结果将会影响很多有关自然语言处理问... 详细信息

在藏语自然语言处理领域中字和词的研究已取得了较好的研究成果,句法分析目前还处于起步阶段。句法分析是一个重要的基础性工作,在各个领域都起着举足轻重的作用,也是对藏语进行深层次理解的基础,其结果将会影响很多有关自然语言处理问题方面的准确率和召回率。因此句法分析在藏语自然语言处理中具有重要的理论意义及应用价值。本论文从以下几个方面对藏语句法进行了分析和研究:(1)藏语句子抽取技术通过分析藏语句子句尾词性的分布特征,确定了能够出现在藏语句尾的词性,提出了一种逆向回溯虚词的藏语句子抽取方法,提高了藏语句子抽取的效率。实验表明,利用逆向回溯虚词的藏语句子抽取方法能够抽取到较理想的句子。(2)藏语短语分类及形式化描述按语法功能将藏语短语分为8类,即名词性短语、动词性短语、形容词性短语、代词性短语、助词性短语、时间词性短语、副词性短语和数量词性短语。对藏语短语进行了形式描述,给出了特征模板,并做了结构成分分析。(3)藏语句法分析采用pcfg方法训练藏语句法分析模型,利用概率CYK算法对句法进行解码,通过计算句子的语法总概率对有歧义的句子进行了歧义消解。实验表明,基于pcfg的藏语句法分析得到了较好的效果。开放性测试实验结果准确率达91.5%,召回率达88.5%,F值达91.5%,封闭性测试实验结果准确率达94.7%,召回率达91.8%,F值达93.2%。

关键词：藏语句子藏语短语句法分析 pcfg CYK

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

句法分析与消解pcfg改进

电子设计工程 2012年第4期20卷 53-56页

作者：金新生河南省财经学校河南郑州450012

概率型的句法分析模型具有一定的消岐能力,pcfg的最大特点上下文无关,对于开放领域的自然语言分析来说具有较长的鲁棒性。但上下文无关假设不可能很好地表示语言的特点,难以解决需要上下文信息才可以消解的句法分析岐义,而且它只考虑了... 详细信息

概率型的句法分析模型具有一定的消岐能力,pcfg的最大特点上下文无关,对于开放领域的自然语言分析来说具有较长的鲁棒性。但上下文无关假设不可能很好地表示语言的特点,难以解决需要上下文信息才可以消解的句法分析岐义,而且它只考虑了词类信息而没有考虑词汇或语义信息,所以对语言的描述也是粗粒度的。本文结合知网定义句子成分结构语义关联度,对pcfg分析结果改进,句法岐义有效改善。

关键词：句法分析 pcfg 句子成分结构语义关联度知网

一种实用的pcfg多阶段全局寻优句法分析算法

在线全文

学校读者我要写书评

暂无评论

长春理工大学学报（自然科学版） 2010年第2期33卷 143-146页

作者：陈晓明梁雄友广东司法警官职业学院广州510520 厦门大学厦门361005

指出概率型上下文无关文法pcfg对句型消岐能力不足之处,利用知网等知识库和句子语境信息构造句子成分结构语义关联度,有效地解决一些常见的句子岐义。为了纠正"各层最优"时隐含的错误,在实验基础上,提出了全局寻优的思路,并结合N-最短... 详细信息

指出概率型上下文无关文法pcfg对句型消岐能力不足之处,利用知网等知识库和句子语境信息构造句子成分结构语义关联度,有效地解决一些常见的句子岐义。为了纠正"各层最优"时隐含的错误,在实验基础上,提出了全局寻优的思路,并结合N-最短路径粗切分法和未登录词的动态规划法、连环交集型、组合型、混合型岐义的分词消岐算法,N-最短路径Viterbi词类粗标注算法,基于知网的词义标注算法,以及改进过的pcfg算法,进行多阶段寻优,主要解决各阶段局部最优化时隐含的错误。

关键词： pcfg 全局寻优算法

在线全文

学校读者我要写书评

暂无评论

由粗到精的哈萨克语短语结构句法分析研究

中文信息学报 2018年第1期32卷 83-88页

作者：梁金莲古丽拉·阿东别克新疆大学信息科学与工程学院新疆乌鲁木齐830046 新疆多语种信息技术实验室新疆大学新疆乌鲁木齐830046 国家语言资源监测与研究少数民族语言中心哈萨克和柯尔克孜语文基地新疆大学新疆乌鲁木齐830046

该文针对哈萨克语短语结构句法分两个阶段采用由粗到精的方法进行哈萨克语句法分析研究。第一阶段使用粗略的句法分析器生成20个最佳候选树;第二阶段采用感知机的方法训练,提取特征信息,并对第一阶段生成的20个最佳候选树进行重排序,最... 详细信息

该文针对哈萨克语短语结构句法分两个阶段采用由粗到精的方法进行哈萨克语句法分析研究。第一阶段使用粗略的句法分析器生成20个最佳候选树;第二阶段采用感知机的方法训练,提取特征信息,并对第一阶段生成的20个最佳候选树进行重排序,最终解析结果是第一阶段产生的候选树的结果和重排序结果按照比例选取。该方法在两个阶段不仅可以获取到句子的结构信息,还可以提取到详细的特征信息,可以最大限度地对句子进行解析,获得了较好的句子解析结果,其句法分析正确率为71.4%。

关键词：句法分析 pcfg 重排序

在线全文

学校读者我要写书评

暂无评论

汉语概率型上下文无关语法的自动推导

计算机学报 1998年第5期21卷 385-392页

作者：周强黄昌宁北京智能技术与系统国家重点实验室北京100084 清华大学计算机科学与技术系北京100084

本文提出了一种汉语概率型上下文无关语法（pcfg）的自动推导方法，它在匹配分析机制上实现了无指导的EM迭代训练算法，并通过对训练语料的自动短语界定预处理以及在集成不同知识源基础上构造合适的初始规则集，保证了训练算法能迅速收... 详细信息

本文提出了一种汉语概率型上下文无关语法（pcfg）的自动推导方法，它在匹配分析机制上实现了无指导的EM迭代训练算法，并通过对训练语料的自动短语界定预处理以及在集成不同知识源基础上构造合适的初始规则集，保证了训练算法能迅速收敛于符合语言事实的规则概率分布状态．初步的实验结果显示出目前的算法在训练效率和训练结果可信度方面都是令人满意的．

关键词：语法推导 pcfg 语料库语言学语言信息处理

基于DCR平台的分布式Hashcat关键技术研究与实现

在线全文

学校读者我要写书评

暂无评论

基于DCR平台的分布式Hashcat关键技术研究与实现

作者：白玉龙华南理工大学

学位级别：硕士

随着互联网和信息技术的高速发展,获取信息正变得越来越方便,于此同时,信息安全也越来越受到人们的重视。口令作为一种认证方式,是保证信息安全不可或缺的一种重要手段。为了保证信息的安全,人们往往设置复杂的口令和加密算法,一旦口令... 详细信息

随着互联网和信息技术的高速发展,获取信息正变得越来越方便,于此同时,信息安全也越来越受到人们的重视。口令作为一种认证方式,是保证信息安全不可或缺的一种重要手段。为了保证信息的安全,人们往往设置复杂的口令和加密算法,一旦口令遗忘或者丢失,利用普通的暴力破解将很难恢复口令。目前基础的口令加密算法有MD5、MD4和SHA1等,此外算法设计者还会对这些基础算法进行混合迭代以增加计算复杂度,使得口令恢复更加复杂。与此同时,随着计算芯片(如GPU、FPGA)的快速发展,芯片的单位计算能力也变得越来越强,大大提升了口令恢复的效率。因此,为了提高口令恢复的效率,主要有以下两种方法:一、提高系统的计算能力。二、根据口令的规律制定合理的攻击策略,提高效率。基于以上两种方法,本文实现了分布式的口令恢复系统DCRashcat。该系统基于Hashcat和DCR并行支撑平台实现,Hashcat是世界上最快的开源单机口令恢复平台,DCR是一个并行支撑框架,为实现Hashcat分布式提供网络通讯、任务分发等功能。DCRashcat实现了主流的三种口令攻击方法:暴力攻击、碾压攻击和pcfg攻击,与此同时,DCRashcat还针对这三种方法实现了高性能的任务分解器,可以高效分解原始任务。该系统不但支持Hashcat的所有算法,还通过修改内核使得其支持更多的算法(例如RAR3不加密文件名算法),从而使得系统算法更加完善。最后,本文还将对系统进行全面的正确性测试和性能测试,口令恢复系统最终具备了工程应用的能力。

关键词： DCR Hashcat pcfg 口令恢复碾压攻击暴力攻击

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于字符距离的口令强度评估方法研究

基于字符距离的口令强度评估方法研究

作者：邵岩国际关系学院

学位级别：硕士

身份认证是网络空间安全中的重要屏障,是保障用户信息财产安全的重要手段。文本口令由于其成本低、部署方便且存储开销低等优点,成为使用最广泛的身份认证方式。口令强度评估方法旨在辅助用户创建难以被破解的口令,然而在现有口令强度... 详细信息

身份认证是网络空间安全中的重要屏障,是保障用户信息财产安全的重要手段。文本口令由于其成本低、部署方便且存储开销低等优点,成为使用最广泛的身份认证方式。口令强度评估方法旨在辅助用户创建难以被破解的口令,然而在现有口令强度评估方法识别的强口令中,依然存在中等强度口令和弱口令。本文的主要工作是提出了一种基于字符距离的口令强度评估方法,目的是在现有口令强度评估方法的基础上识别被评估为强口令的中等强度口令和弱口令,从而提高口令强度评估方法的准确度。论文的具体工作和创新点有:(1)已泄漏数据集特征提取。本文共收集10个真实口令数据集,总数据量为千万级。使用概率上下文无关文法(pcfg)对口令数据集的口令长度、口令字符种类、口令字符排列和口令所含弱口令模式进行特征提取,概率建模分析用户在创建口令时的行为习惯,为本文所提基于字符距离的口令强度评估方法的模型建立提供了方向和依据。(2)提出字符距离的概念以及基于字符距离的口令强度评估方法。本文建立了基于字符距离的口令强度评估模型,提出使用连续首字符距离(CLCD)和平均相邻字符距离(AACD)作为评估口令强度的指标,两个评估指标在语义层面能够隐性的表达出口令长度的大小、字符种类数量、字符排列方式和是否拥有弱口令模式等影响口令强度的主要因素。(3)提出一种通用的正确性评估方法。本文提出使用Next-Gen pcfg分析LPSE、ZXCVBN和所提基于字符距离的口令强度评估方法中被评估口令的组成模式,进而从组成模式的概率模型中验证所提方法的正确性。经过实验分析,所提口令强度评估模型能够有效的识别中等强度口令和强口令,较现有的口令强度评估方法在不同的口令数据集中,从强口令中识别中等强度口令的增长率区间为[28.38%,222.73%]。从强口令中筛选的中等强度口令中,Next-Gen pcfg模式50%左右是由多个词语或者单一数字组成,从而证明本文所提基于字符距离的口令强度评估方法在评估口令强度方面具有优势。

关键词：口令强度评估字符距离强口令识别 LPSE ZXCVBN pcfg

基于概率上下文无关语法的句法分析研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于概率上下文无关语法的句法分析研究与实现

作者：皮晓峰电子科技大学

学位级别：硕士

本文论述了基于概率的上下文无关语法的句法分析的原理及实现过程。本文首先回顾了自然语言的发展历史和应用范围,同时介绍了句法分析在自然语言中的重要的地位和本文的主要工作。然后介绍了句法分析的常用的分析方法,并对本文的基于概... 详细信息

本文论述了基于概率的上下文无关语法的句法分析的原理及实现过程。本文首先回顾了自然语言的发展历史和应用范围,同时介绍了句法分析在自然语言中的重要的地位和本文的主要工作。然后介绍了句法分析的常用的分析方法,并对本文的基于概率的上下文无关语法的句法分析器所采用线图分析法作了重点介绍,分析了这种方法的原理以及优点。本文的句法分析器是基于概率上下文无关语法的,这种方法是统计分析模型中比较成功的一种模式。在本文的第三章详细介绍了pcfg的排除句子歧义的原理,并用具体实例加以阐述。基于概率的分析,当然最重要的就是概率的提取问题,在本文的第四章给出了提取概率的详细算法及实例,解决了基于概率上下文无关语法的三个重要问题。即采用向内向外算法,在给定一部概率上下文无关语法的前提下,计算句子的概率;采用Viterbi算法,在给定一部概率上下文无关语法以及句子前提下,找出最为可能的分析树。采用向内-向外算法,为语法规则选择概率,使得训练句子的概率最大。在对真实的句子进行句法分析的时候会遇到很多问题。本文第五章针对一些具体问题提出了一些解决方案,取得了一定的成效。主要有以下几个方面。1)根据汉语,既缺乏形态变化,又缺乏作为句法标志的黏着成分的外在特征,本文采用了短语本位的思想。2)针对汉语的具体特点,在本文中设计了预处理系统,系统利用特征词在对句子进行综合分析之前预测句子的句法结构,换句话说,预处理实际上是部分句法分析,它起着导引综合分析的作用,避免了不必要的计算。3)在本文中针对基于统计句法分析中数据稀疏问题,采取了数据平滑技术,使该问题得以缓解。4)在汉语中特定的句法范畴与特定词类之间的共现关系,在本文的句法分析器中,句法分析的歧义消解引入这类共现信息。即本文提到的制约法消歧,也就是利用句法、语义等制约条件排除不能满足制约条件的结构,从而达到消歧目的。在第六章列出了本句法分析器实验结果,并与其它几种统计句法分析模型进行了比较分析。最后,本文分析了本系统的存在的缺陷及一些改进措施。

关键词：线图句法分析统计 pcfg

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

汉语句法分析的重排序技术研究

汉语句法分析的重排序技术研究

作者：程勇哈尔滨工业大学

学位级别：硕士

近年来，随着网络的发展，现代人对信息沟通和处理的需求越来越迫切，这使得自然语言处理以及相关的应用领域得到了迅速的发展。而由于句法分析在自然语言处理研究中的关键地位及其在各种应用上的光明前景，本文对汉语的句法分析进行了... 详细信息

近年来，随着网络的发展，现代人对信息沟通和处理的需求越来越迫切，这使得自然语言处理以及相关的应用领域得到了迅速的发展。而由于句法分析在自然语言处理研究中的关键地位及其在各种应用上的光明前景，本文对汉语的句法分析进行了深入的探讨和研究，并且由于重排序方法在提高句法分析性能上的有效性，因此本文把对重排序方法的研究作为本文的主要研究内容。具体的工作如下：首先，本文对当前主流的句法分析模型进行了介绍，并且在宾州中文树库CTB5.0上进行了实验，测试比较了不同句法分析模型的性能。根据对实验结果的分析本文探讨了不同构建模型的方法以及不同模型对句法分析的影响，而这些影响主要体现在对信息的融合，对训练语料的要求，以及对最终句法分析的性能和效率上。其次，本文应用了不同的句法分析模型作为初始模型来进行句法分析的重排序实验，其中初始模型分别采用了概率上下文无关文法（pcfg）模型，Stanford-1模型以及Berkeley模型，而对于影响重排序性能的两个重要因素：特征表示和参数训练，本文进行了如下的设置，特征表示方面，本文主要参考了Collins在他的文章中给出的特征集并进行了稍微的改动，而参数训练方面则采用了最大熵方法作为训练方法。另外本文进一步探讨了不同类型特征对实验结果的影响，分析结果表明重排序模型中的特征选择应考虑初始模型的影响。最后，在对传统重排序方法研究的基础上，本文发现现有的重排序方法对于N-best候选树中所蕴含的信息并没有充分利用，因此针对性地进行了改进并通过相应实验进行了验证。具体的说，在传统的重排序方法中，常常将重排序映射为一个分类问题，而指导训练分类参数的代价函数常常设置为使N-best候选句法分析树中的排名第一的句法分析树和其他句法分析树之间的边界距离（Margin）最大。但是本文发现，在实际情况中，句法分析树之间的顺序是根据该句法树与标准树的相似度值来排序的，也就是说，不同的句法分析树之间没有“质”的差异，只有“量”的差异，而在传统的方法中却常常忽视这一信息。针对此问题，本文提出了两种改进模型：基于相对距离的分割模型和基于多类融合的模型。并且利用这两种模型在pcfg模型作为初始模型的基础上进行了实验。实验结果表明，改进模型使得句法分析的性能有了进一步的提高，在用pcfg作为初始模型的基础上，改进模型比传统的重排序技术又提高了0.9个百分点左右。另外，本文实现了一个多种显示模式的句法分析树可视化系统，该系统提供了三种主要的显示模式来对句法分析树进行展示，分别是“短语模式”，“依存模式”，“骨架模式”。除了对句法分析树给出不同结构的显示外，该系统还可以为重排序中的特征选择提供相应的帮助。

关键词：汉语句法分析 pcfg 重排序可视化