检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于互信息和逻辑回归的新词发现

数据分析与知识发现 2019年第8期3卷 105-113页

作者：陈先来韩超鹏安莹刘莉李忠民杨荣中南大学信息安全与大数据研究院长沙410083 中南大学计算机学院长沙410083 中南大学医疗大数据应用技术国家工程实验室长沙410083 中南大学湘雅医院长沙410078

【目的】改进新词提取方法,将提取的新词加入现有分词模型,提高医学文本分词准确率。【方法】在传统互信息模型基础上,得到字、字串的统计量,连同字串是否成词,一起作为特征,建立逻辑回归分类模型,设计了一种新词识别算法。【结果】在... 详细信息

【目的】改进新词提取方法,将提取的新词加入现有分词模型,提高医学文本分词准确率。【方法】在传统互信息模型基础上,得到字、字串的统计量,连同字串是否成词,一起作为特征,建立逻辑回归分类模型,设计了一种新词识别算法。【结果】在湘雅医院皮肤科电子病历文本数据上进行系列实验,与PMI、PMI^2和PMI^3相比,融入逻辑回归的PMI模型可以取得最高的新词提取准确率(0.803)。【局限】建立逻辑回归分类模型时,需要对训练集字串是否成词进行人工判断。【结论】融入逻辑回归的互信息分词模型可以更好地识别新词,降低词语误判,对于医学文本词的切分具有良好的应用价值。

关键词：医学文本分词新词发现逻辑回归互信息模型

在线全文

学校读者我要写书评

暂无评论

基于新词发现的跨领域中文分词方法

电子与信息学报 2022年第9期44卷 3241-3248页

作者：张军赖志鹏李学宁更新杨萃华南理工大学电子与信息学院广州510641

深度神经网络(DNN)是目前中文分词的主流方法,但将针对某一领域训练的网络模型用于其他领域时,会因存在跨领域的未登录词(OOV)和表达鸿沟而造成性能显著下降,而在实际中对所有未知领域的训练语料进行人工标注和训练模型并不可行。为了... 详细信息

深度神经网络(DNN)是目前中文分词的主流方法,但将针对某一领域训练的网络模型用于其他领域时,会因存在跨领域的未登录词(OOV)和表达鸿沟而造成性能显著下降,而在实际中对所有未知领域的训练语料进行人工标注和训练模型并不可行。为了解决这个问题,该文构建了一个基于新词发现的跨领域中文分词系统,可以自动完成从目标领域语料中提取新词、标注语料和训练网络模型的工作。此外,针对现有新词发现算法提取出的词表垃圾词串多以及自动标注语料中存在噪声样本的问题,提出了一种基于向量增强互信息和加权邻接熵的无监督新词发现算法以及一种基于对抗式训练的中文分词模型。实验中将使用北大开源新闻语料训练的网络模型提取出的特征迁移到医疗、发明专利和小说领域,结果表明该文所提方法在未登录词率、准确率、召回率和分词F值方面均优于现有方法。

关键词：中文分词新词发现跨领域向量增强互信息对抗式训练

在线全文

学校读者我要写书评

暂无评论

基于二元背景模型的新词发现

清华大学学报（自然科学版） 2011年第9期51卷 1317-1320页

作者：吴悦燕鹏举翟鲁峰复旦大学数学科学学院上海200433 盛大语音创新院上海201203

该文提出一种基于二元背景模型的新词发现方法。采用前、背景语料二元似然比挑选候选二元组(bigram);然后根据频率、刚性、条件概率等基于前景语料的统计量,对二元组进行进一步筛选和扩展,以确定新词边界。用该方法提取出的词既包含新... 详细信息

该文提出一种基于二元背景模型的新词发现方法。采用前、背景语料二元似然比挑选候选二元组(bigram);然后根据频率、刚性、条件概率等基于前景语料的统计量,对二元组进行进一步筛选和扩展,以确定新词边界。用该方法提取出的词既包含新词特征,又可以成词。而且该方法充分利用现有背景生语料却无需分词等标注信息,不依赖词典、分词模型和规则,具有良好的扩展性。为了得到更好的发现效果,还讨论了各统计量阈值的选取策略和垃圾元素剔除策略。该方法在网络小说语料上验证了其有效性。

关键词：新词发现二元组背景模型似然比

在线全文

学校读者我要写书评

暂无评论

基于条件随机场方法的开放领域新词发现

软件学报 2013年第5期24卷 1051-1060页

作者：陈飞刘奕群魏超张云亮张敏马少平智能技术与系统国家重点实验室(清华大学) 北京100084 清华大学清华信息科学与技术国家实验室(清华大学)(筹) 北京100084 清华大学计算机科学与技术系北京100084

开放领域新词发现研究对于中文自然语言处理的性能提升有着重要的意义.利用条件随机场(condition random field,简称CRF)可对序列输入标注的特点,将新词发现问题转化为预测已分词词语边界是否为新词边界的问题.在对海量规模中文互联网... 详细信息

开放领域新词发现研究对于中文自然语言处理的性能提升有着重要的意义.利用条件随机场(condition random field,简称CRF)可对序列输入标注的特点,将新词发现问题转化为预测已分词词语边界是否为新词边界的问题.在对海量规模中文互联网语料进行分析挖掘的基础上,提出了一系列区分新词边界的统计特征,并采用CRF方法综合这些特征实现了开放领域新词发现的算法,同时比较了K-Means聚类、等频率、基于信息增益这3种离散化方法对新词发现结果的影响.通过在SogouT大规模中文语料库上的新词发现实验,验证了所提出的方法有较好的效果.

关键词：新词发现 condition random field(CRF) 中文分词

在线全文

学校读者我要写书评

暂无评论

利用信息传播特性的中文网络新词发现方法

西安交通大学学报 2015年第12期49卷 59-64页

作者：孙立远周亚东管晓宏清华大学智能与网络化系统研究中心北京100084 国家计算机网络应急技术处理协调中心北京100029 西安交通大学智能网络与网络安全教育部重点实验室西安710049

针对已有方法识别出的网络中文新词生命周期短且很快不再为人们所用的问题,提出了一种基于信息传播特性的中文新词发现方法。该方法结合"新词传播范围广、持续时间长"的特点,从用户覆盖率、话题覆盖率和新词生命周期3个方面设计统计量;... 详细信息

针对已有方法识别出的网络中文新词生命周期短且很快不再为人们所用的问题,提出了一种基于信息传播特性的中文新词发现方法。该方法结合"新词传播范围广、持续时间长"的特点,从用户覆盖率、话题覆盖率和新词生命周期3个方面设计统计量;采用N-gram算法得到候选词串列表;用基于词频和词语灵活度的方法过滤垃圾词串。实验中以微博文本作为语料来源,与已有方法相比,用户特性使得新词识别的准确率提高了11%,话题特性使准确率提高了10%,时间特性使准确率提高了13%,综合用户、话题和时间的方法使准确率提高了16%。实验结果表明:该方法中的每个特性都提高了中文网络新词识别的准确率,而且同时考虑3种特性的准确率比只考虑单一特性的高。

关键词：新词发现信息传播用户行为时间特性

在线全文

学校读者我要写书评

暂无评论

基于微博内容的新词发现方法

模式识别与人工智能 2014年第2期27卷 141-145页

作者：霍帅张敏刘奕群马少平智能技术与系统国家重点实验室北京100084 清华信息科学与技术国家实验室(筹) 北京100084 清华大学计算机科学与技术系北京100084

新词发现在自然语言处理领域具有重要意义,在微博内容上的新词发现比在一般语料上更难.文中提出引入词关联性信息的迭代上下文熵算法,并通过上下文关系获取新词候选列表进行过滤.为进一步提高精度,引入自然语言处理中的词法特征,提出与... 详细信息

新词发现在自然语言处理领域具有重要意义,在微博内容上的新词发现比在一般语料上更难.文中提出引入词关联性信息的迭代上下文熵算法,并通过上下文关系获取新词候选列表进行过滤.为进一步提高精度,引入自然语言处理中的词法特征,提出与统计特征相结合的过滤方法.与现有方法相比,准确率和召回率均有大幅提高,F-值提高到89.6%.

关键词：新词发现上下文熵未登录词提取

在线全文

学校读者我要写书评

暂无评论

针对特定领域的新词发现和新技术发现

现代图书情报技术 2008年第2期 35-40页

作者：王文荣乔晓东朱礼军中国科学技术信息研究所北京100038

利用并发展针对单个汉字的构词能力和构词模式公式,计算词的构词能力和词的构词模式,并以此作为新词发现的规则,对科技领域做了新词发现和新技术发现的实验。通过对实验结果进行对比分析,证实该方法是有效的。

关键词：新词发现构词模式新技术发现

融合词语义表示和新词发现的领域本体演化——以产品评论数据为例

在线全文

学校读者我要写书评

暂无评论

图书情报工作 2021年第8期65卷 85-96页

作者：耿骞邓斯予靳健北京师范大学政府治理研究中心珠海519087 北京师范大学政府管理学院北京100875

[目的/意义]针对传统本体演化中对新知识和新需求的捕捉存在不准确、低效率的问题,提出一种基于领域新词发现的本体演化方法,并以用户产品评论数据为例进行验证.[方法/过程]首先采用自然语言处理算法对用户产品评论文本语料进行文本预处... 详细信息

[目的/意义]针对传统本体演化中对新知识和新需求的捕捉存在不准确、低效率的问题,提出一种基于领域新词发现的本体演化方法,并以用户产品评论数据为例进行验证.[方法/过程]首先采用自然语言处理算法对用户产品评论文本语料进行文本预处理,并利用Word2vec算法进行词向量嵌入;然后采用深度学习中Bi-LSTM-Atten-tion-CRF算法实现候选领域新词的识别和抽取,并利用K-means算法进行聚类以得到最终领域新词;最后利用本体演化的六阶段演化流程,实现领域本体的演化工作.[结果/结论]以智能手机领域产品评论为实验数据,验证了本研究采用领域新词发现模型具有更高的准确率和召回率,由此演化得到智能手机领域新版产品本体.领域新版产品本体既可以帮助产品设计者根据领域本体中新特征、新功能优化产品设计,也可以支持消费者利用产品评论进行购买决策.

关键词：本体演化领域新词新词发现注意力机制双向长短期记忆网络条件随机场

基于新词发现的环境管理专业词库构建及其实证应用

在线全文

学校读者我要写书评

暂无评论

环境工程技术学报 2021年第2期11卷 385-392页

作者：王芷筠常杪周黎郭培坤谷美枫清华大学环境学院攀枝花市生态环境局环境信息与技术评估服务中心

随着我国环境政策法规数量的不断增加,采用纯人工方式对政策法规进行整理归纳和分析解读变得越来越困难。运用文本挖掘等计算机技术辅助开展环境政策法规信息提取、内容分析以及智能化管理应用具有重要意义。精准分词则是实现文本挖掘... 详细信息

随着我国环境政策法规数量的不断增加,采用纯人工方式对政策法规进行整理归纳和分析解读变得越来越困难。运用文本挖掘等计算机技术辅助开展环境政策法规信息提取、内容分析以及智能化管理应用具有重要意义。精准分词则是实现文本挖掘各项功能的必要条件。为改善政策法规文本分词效果,以我国各级生态环境部门官网发布的环境政策法规文本为语料基础,通过新词发现算法与人工补充修正构建得到环境管理专业词库。应用实证结果表明:添加专业词库能将政策法规文本的分词准确率由72.6%升至94.1%;将基于支持向量机模型的政策法规文本自动分类误判率降低22.7%;且添加词库后的词频统计和关键词提取结果能为环境政策法规分析提供更全面、更具有时效性的统计信息。

关键词：新词发现环境政策专业词库文本挖掘