检索结果-南通市图书馆

电子计算机参考资料 1977年第10期 15-24页

3.1 词法分析的任务词法分析是下一步进行语法分析的基础或必要的准备。在多遍扫描的编译程序中,它可用单独的一遍扫描来完成,在一遍扫描时则往往仅作为语法分析程序的一个子程序。所以词

关键词：符号关键字义符源程序偏旁软件 Hash 数学常数词法分析

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于多知识源的中文词法分析系统

计算机学报 2007年第1期30卷 137-145页

作者：姜维王晓龙关毅赵健哈尔滨工业大学计算机科学与技术学院哈尔滨150001

汉语词法分析是中文自然语言处理的首要任务.文中深入研究中文分词、词性标注、命名实体识别所面临的问题及相互之间的协作关系,并阐述了一个基于混合语言模型构建的实用汉语词法分析系统.该系统采用了多种语言模型,有针对性地处理词法... 详细信息

汉语词法分析是中文自然语言处理的首要任务.文中深入研究中文分词、词性标注、命名实体识别所面临的问题及相互之间的协作关系,并阐述了一个基于混合语言模型构建的实用汉语词法分析系统.该系统采用了多种语言模型,有针对性地处理词法分析所面临的各个问题.其中分词系统参加了2005年第二届国际汉语分词评测,在微软亚洲研究院、北京大学语料库开放测试中,分别获得F量度为97.2%与96.7%.而在北京大学标注的《人民日报》语料库的开放评测中,词性标注获得96.1%的精确率,命名实体识别获得的F量度值为88.6%.

关键词：词法分析汉语分词词性标注命名实体识别语言模型

Fortran语言语法分析程序和词法分析程序自动生成的尝试

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 1990年第2期27卷 15-21页

作者：余鲲中国科学院计算技术研究所

传统Fortran语言的编译程序一直沿用手工方式编制,本文旨在介绍利用Unix的实用工具Yacc,Lex来实现KJ8920大型计算机的向量Fortran语言的语法分析程序KJFOR的一些经验。KJFOR的文法规则全部描述了[1]的语法现象而没有任何规约/规约冲突... 详细信息

传统Fortran语言的编译程序一直沿用手工方式编制,本文旨在介绍利用Unix的实用工具Yacc,Lex来实现KJ8920大型计算机的向量Fortran语言的语法分析程序KJFOR的一些经验。KJFOR的文法规则全部描述了[1]的语法现象而没有任何规约/规约冲突或移入/规约冲突,KJFOR具有很强的超前搜索能力,它能准确地指出错误位置。

关键词： Fortran 语法分析词法分析程序

在线全文

学校读者我要写书评

暂无评论

计算词法学中词法分析方法初探

外语学刊 1993年第4期 21-26页

作者：石敏

随着计算机科学和语言学的迅速发展,计算语言学(Computational Linquistics)这门新型边缘学科应运而生。它是语言学与计算机科学交叉的结果。

关键词：词法分析词法规则词法结构命题表达式原形词典变化规则方法初探可计算归约法

在线全文

学校读者我要写书评

暂无评论

NDQJava语言词法分析程序

南京大学学报（自然科学版） 2008年第2期44卷 116-122页

作者：徐明君吴庆曦宋方敏南京大学计算机软件新技术国家重点实验室南京210093

随着计算机硬件的发展，电子元件的功能即将受到量子效应的影响．对量子计算和量子计算机的研究迫在眉睫．Shor（JournalofComputing，1994，26：1484-1509）提出的大数质因子分解算法，向人们展示量子计算诱人的潜力．为验证量子算法... 详细信息

随着计算机硬件的发展，电子元件的功能即将受到量子效应的影响．对量子计算和量子计算机的研究迫在眉睫．Shor（JournalofComputing，1994，26：1484-1509）提出的大数质因子分解算法，向人们展示量子计算诱人的潜力．为验证量子算法正确性、通用量子计算机的可行性以及帮助理解量子力学中诸多问题，南京大学量子计算与量子信息研究组于2006年春设计了一种量子程序设计语言——NDQJava，并于同年夏在经典计算机上模拟实现了NDQJava的处理系统．此处理系统遵循编译一解释的途径，由词法分析程序、语法分析与代码转换程序、量子汇编与解释程序三部分组成．作为处理系统的第一部分，词法分析程序须将能够正确分析源程序并给出结构明确的单词属性字序列，它的设计实现遵循了简明、易用两条准则．本文着重介绍词法分析程序，较为详细地讨论了其设计与实现过程，并讨论了其主要优缺点．

关键词：量子计算程序设计语言处理系统词法分析

在线全文

学校读者我要写书评

暂无评论

维吾尔语词法分析的有向图模型

软件学报 2012年第12期23卷 3115-3129页

作者：麦热哈巴·艾力姜文斌王志洋吐尔根·依布拉音刘群新疆大学信息科学与工程学院新疆乌鲁木齐830046 中国科学院计算技术研究所北京100190 中国科学院研究生院北京100049

维吾尔语是典型的黏着性语言,其派生能力很强,具有丰富的形态变化,同时遵循语音和谐规律,生成过程中会出现弱化、增音、脱落等音变现象.这些特性决定了维吾尔语词法分析的难点,包括词干提取、发生音变字母的还原以及标注.将维吾尔语词... 详细信息

维吾尔语是典型的黏着性语言,其派生能力很强,具有丰富的形态变化,同时遵循语音和谐规律,生成过程中会出现弱化、增音、脱落等音变现象.这些特性决定了维吾尔语词法分析的难点,包括词干提取、发生音变字母的还原以及标注.将维吾尔语词的层次结构引入到词法分析研究中,提出了维吾尔语词法分析的有向图模型,该模型将维吾尔语词法分析描述为有向图结构,图中节点表示词干、词缀及其相应标注,其边表示节点之间的转移或生成概率并将此概率作为候选择优的依据.针对维吾尔语在形态变化过程中发生的音变现象,又提出基于词内字母对齐算法的自动还原模型,该模型将音变现象泛化到每个字母上的假设之下,将还原问题转变成类似于词性标注问题,再利用统计方法进行还原.在对新疆多语种信息技术重点实验室手工标注的《维吾尔语百万词词法分析语料库》上进行的实验中,取得了词干提取正确率为94.7%,词干与各词缀切分并标注的F值达到92.6%的好成绩.

关键词：维吾尔语词法分析词语切分词性标注有向图

在线全文

学校读者我要写书评

暂无评论

蒙古语词法分析的有向图模型

中文信息学报 2011年第5期25卷 94-100页

作者：姜文斌吴金星长青那顺乌日图刘群赵理莉中国科学院计算技术研究所北京100190 内蒙古大学蒙古学学院内蒙古呼和浩特010021 河南师范大学计算机与信息技术学院河南新乡453007

我们为蒙古语词法分析建立了一种生成式的概率统计模型。该模型将蒙古语语句的词法分析结果描述为有向图结构,图中节点表示分析结果中的词干、词缀及其相应标注,而边则表示节点之间的转移或生成关系。特别地,在本工作中我们刻画了词干... 详细信息

我们为蒙古语词法分析建立了一种生成式的概率统计模型。该模型将蒙古语语句的词法分析结果描述为有向图结构,图中节点表示分析结果中的词干、词缀及其相应标注,而边则表示节点之间的转移或生成关系。特别地,在本工作中我们刻画了词干到词干转移概率、词缀到词缀转移概率、词干到词缀生成概率、相应的标注之间的三种转移或生成概率,以及词干或词缀到相应标注相互生成概率。以内蒙古大学开发的20万词规模的三级标注人工语料库为训练数据,该模型取得了词级切分正确率95.1%,词级联合切分与标注正确率93%的成绩。

关键词：蒙古语词法分析词语切分词性标注词干提取有向图

在线全文

学校读者我要写书评

暂无评论

源码审核技术中的词法分析

中国科学院研究生院学报 2009年第3期26卷 408-414页

作者：肖锋张玉清西安电子科技大学计算机网络与信息安全教育部重点实验室西安710071 中国科学院研究生院国家计算机网络入侵防范中心北京100049

源代码审核是指在编码阶段发现和修正软件源代码中存在的安全漏洞,词法分析是源代码审核中的一项重要技术.详细分析了词法分析的实现过程,完善了危险函数数据库,优化了特征分析方法,特别是将贝叶斯理论成功运用于词法分析,并成功开发出... 详细信息

源代码审核是指在编码阶段发现和修正软件源代码中存在的安全漏洞,词法分析是源代码审核中的一项重要技术.详细分析了词法分析的实现过程,完善了危险函数数据库,优化了特征分析方法,特别是将贝叶斯理论成功运用于词法分析,并成功开发出一个词法分析工具SSCAN.测试结果表明,SSCAN比主流词法分析软件Flawfinder和Rats具有更高的完整性和准确性.

关键词：源代码审核词法分析特征分析贝叶斯决策