检索结果-南通市图书馆

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

统计与规则相结合的藏文句子自动断句方法

云南大学学报（自然科学版） 2012年第6期34卷 653-657,663页

作者：徐涛加羊吉于洪志西北民族大学国家民委-教育部中国民族语言文字信息技术重点实验室甘肃兰州730030

藏文句子断句是藏文信息处理领域的难点之一,也是藏汉机器翻译、藏文文本分类等工作的一项重要基础性研究.提出了一种统计与规则相结合的藏文句子自动断句方法以解决藏文标点符号功能的歧义问题,实验结果表明该方法具有比较好的效果,F1... 详细信息

藏文句子断句是藏文信息处理领域的难点之一,也是藏汉机器翻译、藏文文本分类等工作的一项重要基础性研究.提出了一种统计与规则相结合的藏文句子自动断句方法以解决藏文标点符号功能的歧义问题,实验结果表明该方法具有比较好的效果,F1值达到98%以上.在规则中首先使用经验的方法,识别出不确定的藏文句子作为候选句子,然后采用基于关联词的复句分析方法进行分句合并形成二次候选句子;最后使用最大熵的方法对二次候选句子进行断句.经验方法和复句分析有效解决了最大熵算法无法触及的语料稀疏和分句问题.

关键词：藏文句子自动断句复句分析二次候选句子最大熵

在线全文

学校读者我要写书评

暂无评论

基于多特征的藏文微博情感倾向性分析

中文信息学报 2017年第3期31卷 163-169页

作者：江涛袁斌于洪志加羊吉西北民族大学中国民族语言文字信息技术重点实验室甘肃兰州730030

中英文微博大都以单一语种来表述,而将近80%的藏文微博都是以藏汉混合文本形式呈现,若只针对藏文内容或中文内容进行情感倾向性分析会造成情感信息丢失,无法达到较好效果。根据藏文微博的表述特点,该文提出了基于多特征的情感倾向性分... 详细信息

中英文微博大都以单一语种来表述,而将近80%的藏文微博都是以藏汉混合文本形式呈现,若只针对藏文内容或中文内容进行情感倾向性分析会造成情感信息丢失,无法达到较好效果。根据藏文微博的表述特点,该文提出了基于多特征的情感倾向性分析算法,算法使用情感词、词性序列、句式信息和表情符号作为特征,并针对藏文微博常出现中文表述的情况,将中文的情感信息也作为特征进行情感计算,利用双语情感特征有效提高了情感倾向性分析的效果。实验显示,该方法对纯藏文表述的微博情感倾向性分析正确率可达到79.8%,针对藏汉双语表述的微博在加入中文情感词、中文标点符号等特征后,正确率能够达到82.8%。

关键词：藏文微博混合文本情感倾向情感词词性序列

基于条件随机场的藏语自动分词方法研究与实现

在线全文

学校读者我要写书评

暂无评论

中文信息学报 2013年第4期27卷 52-58页

作者：李亚超加羊吉宗成庆于洪志西北民族大学中国民族语言文字信息技术重点实验室甘肃兰州730030 中国科学院自动化研究所模式识别国家重点实验室北京100190

藏语自动分词是藏语信息处理的基础性关键问题,而紧缩词识别是藏语分词中的重点和难点。目前公开的紧缩词识别方法都是基于规则的方法,需要词库支持。该文提出了一种基于条件随机场的紧缩词识别方法,并在此基础上实现了基于条件随机场... 详细信息

藏语自动分词是藏语信息处理的基础性关键问题,而紧缩词识别是藏语分词中的重点和难点。目前公开的紧缩词识别方法都是基于规则的方法,需要词库支持。该文提出了一种基于条件随机场的紧缩词识别方法,并在此基础上实现了基于条件随机场的藏语自动分词系统。实验结果表明,基于条件随机场的紧缩词识别方法快速、有效,而且可以方便地与分词模块相结合,显著提高了藏语分词的效果。

关键词：藏语自动分词条件随机场紧缩词识别格助词

最大熵和条件随机场模型相融合的藏文人名识别

在线全文

学校读者我要写书评

暂无评论

中文信息学报 2014年第1期28卷 107-112页

作者：加羊吉李亚超宗成庆于洪志西北民族大学中国民族语言文字信息技术重点实验室甘肃兰州730030 中国科学院自动化研究所模式识别国家重点实验室北京100190

藏文人名识别是藏文信息处理领域研究的难点之一,其识别效果直接影响到藏文自动分词的精度和相关应用系统的性能,包括藏汉翻译、藏文信息检索、文本分类等。该文在分析藏文人名构成规律和特点的基础上,提出了一种最大熵和条件随机场相... 详细信息

藏文人名识别是藏文信息处理领域研究的难点之一,其识别效果直接影响到藏文自动分词的精度和相关应用系统的性能,包括藏汉翻译、藏文信息检索、文本分类等。该文在分析藏文人名构成规律和特点的基础上,提出了一种最大熵和条件随机场相融合的藏文人名识别方法。实验表明,该方法可以获取较好的识别效果,在我们的测试集上F-测度值到达了93.08%。

关键词：藏文人名识别最大熵条件随机场

TIP-LAS：一个开源的藏文分词词性标注系统

在线全文

学校读者我要写书评

暂无评论

中文信息学报 2015年第6期29卷 203-207页

作者：李亚超江静加羊吉于洪志甘肃省民族语言智能处理重点实验室西北民族大学甘肃兰州730030

TIP-LAS是一个开源的藏文分词词性标注系统,提供藏文分词、词性标注功能。该系统基于条件随机场模型实现基于音节标注的藏文分词系统,采用最大熵模型,并融合音节特征,实现藏文词性标注系统。经过试验及对比分析,藏文分词系统和词性标注... 详细信息

TIP-LAS是一个开源的藏文分词词性标注系统,提供藏文分词、词性标注功能。该系统基于条件随机场模型实现基于音节标注的藏文分词系统,采用最大熵模型,并融合音节特征,实现藏文词性标注系统。经过试验及对比分析,藏文分词系统和词性标注系统取得了较好的实验效果,系统的源代码可以从网上获取。希望该研究可以推动藏文分词、词性标注等基础工作的发展,提供一个可以比较、共享的研究平台。

关键词：藏文分词词性标注条件随机场最大熵

在线全文

学校读者我要写书评

暂无评论

基于改进卡方统计量的藏文文本表示方法

计算机工程 2014年第6期40卷 185-189页

作者：徐涛于洪志加羊吉西北民族大学中国民族语言文字信息技术重点实验室兰州730030

藏文文本表示是将非结构化的藏文文本转换为计算机能够处理的数据形式,是藏文文本分类、文本聚类等领域特征抽取的前提。传统的藏文文本表示方法较少考虑特征项之间的关联度,容易造成语义损失。为此,结合向量空间模型,提出一种新的藏文... 详细信息

藏文文本表示是将非结构化的藏文文本转换为计算机能够处理的数据形式,是藏文文本分类、文本聚类等领域特征抽取的前提。传统的藏文文本表示方法较少考虑特征项之间的关联度,容易造成语义损失。为此,结合向量空间模型,提出一种新的藏文文本表示方法。提取文本中词频统计TF-IDF值较高的部分词项作为对比词项,对藏文文本进行断句处理,以每个句子作为一个语境主题,利用卡方统计量计算文本中词项与对比词项的关联程度。实验结果表明,与传统的向量空间模型相比,该方法能更准确地表示藏文文本。

关键词：藏文信息处理改进卡方统计量文本表示自动断句向量空间模型

在线全文

学校读者我要写书评

暂无评论

融合无监督特征的藏文分词方法研究

中文信息学报 2017年第2期31卷 71-75,85页

作者：李亚超加羊吉江静何向真于洪志西北民族大学中国民族语言文字信息技术重点实验室甘肃兰州730030

藏文分词是藏文信息处理的基础性关键问题,目前基于序列标注的藏文分词方法大都采用音节位置特征和类别特征等。该文从无标注语料中抽取边界熵特征、邻接变化数特征、无监督间隔标注等无监督特征,并将之融合到基于序列标注的分词系统中... 详细信息

藏文分词是藏文信息处理的基础性关键问题,目前基于序列标注的藏文分词方法大都采用音节位置特征和类别特征等。该文从无标注语料中抽取边界熵特征、邻接变化数特征、无监督间隔标注等无监督特征,并将之融合到基于序列标注的分词系统中。从实验结果可以看出,与基线藏文分词系统相比,分词F值提高了0.97%,并且未登录词识别结果也有较大的提高。说明,该文从无标注数据中提取出的无监督特征较为有效,和有监督的分词模型融合到一起显著提高了基线分词系统的效果。

关键词：藏文分词序列标注