检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于新词发现的跨领域中文分词方法

电子与信息学报 2022年第9期44卷 3241-3248页

作者：张军赖志鹏李学宁更新杨萃华南理工大学电子与信息学院广州510641

深度神经网络(DNN)是目前中文分词的主流方法,但将针对某一领域训练的网络模型用于其他领域时,会因存在跨领域的未登录词(OOV)和表达鸿沟而造成性能显著下降,而在实际中对所有未知领域的训练语料进行人工标注和训练模型并不可行。为了... 详细信息

深度神经网络(DNN)是目前中文分词的主流方法,但将针对某一领域训练的网络模型用于其他领域时,会因存在跨领域的未登录词(OOV)和表达鸿沟而造成性能显著下降,而在实际中对所有未知领域的训练语料进行人工标注和训练模型并不可行。为了解决这个问题,该文构建了一个基于新词发现的跨领域中文分词系统,可以自动完成从目标领域语料中提取新词、标注语料和训练网络模型的工作。此外,针对现有新词发现算法提取出的词表垃圾词串多以及自动标注语料中存在噪声样本的问题,提出了一种基于向量增强互信息和加权邻接熵的无监督新词发现算法以及一种基于对抗式训练的中文分词模型。实验中将使用北大开源新闻语料训练的网络模型提取出的特征迁移到医疗、发明专利和小说领域,结果表明该文所提方法在未登录词率、准确率、召回率和分词F值方面均优于现有方法。

关键词：中文分词新词发现跨领域向量增强互信息对抗式训练

在线全文

学校读者我要写书评

暂无评论

基于信息熵-切分概率模型的新词发现方法

计算机科学 2023年第7期50卷 221-228页

作者：祝钰莹郭燕万亿兆田凯中国科学技术大学苏州高等研究院江苏苏州215123 中国科学技术大学软件学院江苏苏州215123

新词发现是中文自然语言处理的基本任务,对于提升各种下游任务的性能至关重要。文中提出了一种基于信息熵-切分概率模型的新词发现方法,该方法首先基于信息熵从待处理文本中生成候选词集,然后对候选词集进行切分概率计算,从而筛选出真... 详细信息

新词发现是中文自然语言处理的基本任务,对于提升各种下游任务的性能至关重要。文中提出了一种基于信息熵-切分概率模型的新词发现方法,该方法首先基于信息熵从待处理文本中生成候选词集,然后对候选词集进行切分概率计算,从而筛选出真正的新词。针对有无待处理文本相关的标注语料,提出了两种不同的模型。在缺少待处理文本相关标注语料的情况下,使用通用的分词基准数据集训练了多标签Transformer-CRF模型;在具有专业标注语料的情况下,则引入了基于键值的记忆神经网络,以充分融合词语成词信息。实验结果表明,多标签Transformer-CRF模型在Top900词中法律相关词的MAP高达54.00%,较无监督方法生成的候选词集提升了2.15%;在对法律专业语料提取新词时,键值记忆神经网络的表现进一步超过了多标签Transformer-CRF模型,达到了3.43%的效果提升。

关键词：新词发现信息熵互信息 Transformer 条件随机场键值记忆神经网络

融合学习扩展的非遗陶瓷工艺领域术语库构建及应用

在线全文

学校读者我要写书评

暂无评论

图书馆论坛 2024年第2期44卷 66-78页

作者：汪琳王昊李晓敏邓三鸿南京大学信息管理学院南京大学江苏省数据工程与知识服务重点实验室办公室

文章通过学习扩展的机器学习和深度学习,提出针对非物质文化遗产项目语料的术语抽取及新词发现方法,形成领域术语库并探讨在数字人文领域的应用。首先使用自然语言处理方法对非遗陶瓷语料进行预处理,结合领域术语词表对语料进行标注;然... 详细信息

文章通过学习扩展的机器学习和深度学习,提出针对非物质文化遗产项目语料的术语抽取及新词发现方法,形成领域术语库并探讨在数字人文领域的应用。首先使用自然语言处理方法对非遗陶瓷语料进行预处理,结合领域术语词表对语料进行标注;然后针对Random-CRFs模型,研究词表特征(DICT)、词性特征(POS)、部首特征(Radical)、拼音特征(Pinyin)对术语抽取效果的影响,再对比Random-CRFs、Random-BiLSTM、Random-BiLSTM-CRFs、BERT-BiLSTMCRFs等4个模型对术语抽取效果的影响;最后使用训练完成的模型对测试集语料进行新词识别,对抽取出的候选词进行人工判断,构建包含1,173个术语的非物质文化遗产陶瓷工艺领域术语库,将其应用于非遗项目画像、非遗陶瓷工艺知识图谱和非遗陶瓷工艺术语检索。

关键词：非物质文化遗产领域术语新词发现数字人文

在线全文

学校读者我要写书评

暂无评论

融合相似性判断的网络新词发现算法

西北大学学报（自然科学版） 2022年第2期52卷 239-247页

作者：张爽陈莉李铮西北大学信息科学与技术学院陕西西安710127

新词的有效识别是文本预处理过程中一项非常重要的任务,关系到分词效果的好坏。针对传统新词发现方法未考虑单字新词的识别,且忽略了上下文句法结构与语义信息对新词识别结果的影响,提出一种统计量计算结合相似性判断的网络新词发现算... 详细信息

新词的有效识别是文本预处理过程中一项非常重要的任务,关系到分词效果的好坏。针对传统新词发现方法未考虑单字新词的识别,且忽略了上下文句法结构与语义信息对新词识别结果的影响,提出一种统计量计算结合相似性判断的网络新词发现算法。首先,基于字的粒度,依次计算单字词频、最大增强互信息和加权左右邻接熵,从左向右逐字扩展多字词,获得具有高成词概率的候选新词集合;再利用基于句法与语义的改进相似性计算模型,得到语句相似度,过滤无效新词。对比实验结果表明,该算法能够有效识别新词,相较于传统新词发现方法具有更高的准确率、召回率和F值。

关键词：新词发现句法分析相似性计算卷积神经网络增强互信息

在线全文

学校读者我要写书评

暂无评论

基于BERT的开放领域中文新词发现研究

计算机应用与软件 2023年第6期40卷 173-180页

作者：刘凡平陈慧沈振雷吴业俭上海二三四五网络科技有限公司上海201203

针对当前新词发现准确率低、可移植性不强和需要大规模语料等问题,提出一种基于BERT的开放领域新词识别方法。利用BERT对句意的较强理解能力,将词语和上下文输入模型,训练词语识别器;将测试文本按字节流进行大小为N的滑动窗口操作形成... 详细信息

针对当前新词发现准确率低、可移植性不强和需要大规模语料等问题,提出一种基于BERT的开放领域新词识别方法。利用BERT对句意的较强理解能力,将词语和上下文输入模型,训练词语识别器;将测试文本按字节流进行大小为N的滑动窗口操作形成若干候选词。针对候选词进行分类,识别判定其在上下文中是否属于一个词,倘若该词未在标准词库中出现,则为新词。将该方法与基于互信息和左右熵的新词发现方法和基于条件随机场的新词发现方法进行效果对比,结果表明该方法具有更高的精准率和F1值,同时对于命名体的识别也拥有更高的召回率。

关键词： BERT 新词发现分类器

在线全文

学校读者我要写书评

暂无评论

针对特定领域的新词发现方法研究

计算机仿真 2022年第6期39卷 269-273,335页

作者：申兆媛巢翌李晓龙张伟北京控制与电子技术研究所北京100038

如何准确识别文本中的领域新词是保证企事业内数据安全中的一项重要任务,针对特定领域语料的特性,提出一种针对特定领域的新词发现方法。首先预处理语料,其次采用Jieba结合本领域的成词策略分词,N-gram滑动取词得到候选词串,再次利用点... 详细信息

如何准确识别文本中的领域新词是保证企事业内数据安全中的一项重要任务,针对特定领域语料的特性,提出一种针对特定领域的新词发现方法。首先预处理语料,其次采用Jieba结合本领域的成词策略分词,N-gram滑动取词得到候选词串,再次利用点互信息、邻接熵、词频与归一化得分筛选新词,从次新词向量化并降维,最后K-means分离领域或常用新词,从而得到领域新词集。解决了通用新词发现方法在特定领域的不适应性问题,在某领域约10万行的语料数据上,通过对比实验验证了上述方法的有效性。

关键词：新词发现点互信息邻接熵聚类

基于新词发现和用户短期偏好的即时推荐方法研究

在线全文

学校读者我要写书评

暂无评论

基于新词发现和用户短期偏好的即时推荐方法研究

作者：师梦琳天津商业大学

学位级别：硕士

随着互联网技术的迅猛发展,数据信息呈现指数级增长,使得“信息过载”问题日益严峻,用户需要投入大量时间来筛选自己感兴趣的内容。为了缓解这一问题,推荐系统应运而生,且在多个领域得到了广泛应用。推荐系统通过分析用户的历史行为或... 详细信息

随着互联网技术的迅猛发展,数据信息呈现指数级增长,使得“信息过载”问题日益严峻,用户需要投入大量时间来筛选自己感兴趣的内容。为了缓解这一问题,推荐系统应运而生,且在多个领域得到了广泛应用。推荐系统通过分析用户的历史行为或项目特征,帮助用户找到真正感兴趣的新项目,提升用户的上网体验。随着移动互联网时代的到来,在快餐文化的驱动下,用户的需求也趋于即时化、多样化,而即时推荐可以基于用户最近的行为数据及时推荐符合用户需求的信息,使得用户感兴趣的内容能够立即反映在推荐结果的变化中,带给用户所想即所得的体验,因此即时推荐成为了现如今服务大众的主流技术。虽然研究人员已经在即时推荐领域取得了众多成果,但仍然存在一些问题,如对实时热点的反馈不及时、用户偏好分析不全面以及在推荐时效方面还存在提升空间等问题。为解决上述提到的问题,本文提出了一种基于新词发现和用户短期偏好的即时推荐方法,在文本特征提取、用户特征提取和衡量文本与用户之间的相似性三个方面对推荐过程进行优化,本文所做的主要工作如下:(1)针对现有文本特征提取方法中采用静态的分词词库,而对实时热点的反馈不及时的问题,本文提出一种基于词频、聚合系数、邻接熵三个指标的新词发现方法,自动挖掘文本中的新词汇,并将其动态加入词库中,保证词库更新的及时性和有效性,优化分词精度,从而提高推荐系统的准确性和时效性。(2)针对即时推荐注重用户短期偏好的特点,本文提出一种兼顾用户一般偏好和个性化偏好的短期行为特征提取方法。对于用户历史行为序列按照时间顺序排序后,提取用户近期若干项交互项目,采用了长短期记忆网络提取用户的一般偏好,并通过注意力机制提取用户的个性化偏好。综合考虑两者构建用户行为偏好向量,充分挖掘用户的偏好兴趣,进一步提高推荐效果。(3)针对即时推荐方法高响应性的特点,本文采用孪生神经网络的并行计算来实现文本特征向量和用户偏好向量的快速拟合,它可以将处于不同空间的文本向量和用户偏好向量映射到同一空间计算相似度,对预推荐结果快速排序,生成最终的top-k推荐列表,得到更快速、更准确的推荐结果。在爬取到的微博数据集上进行实验,确定模型中的相应参数,进一步优化了模型的性能,并从准确性、排序能力、多样性、响应时间四个方面综合评估该模型的有效性和可行性,实验结果证明,本文提出的即时推荐方法能够在保证准确性的基础上,有效提高推荐内容调整的及时性、用户偏好提取的即时性以及高响应性。

关键词：即时推荐新词发现长短期记忆网络注意力机制孪生神经网络

基于互信息和左右邻接熵改进的新词发现算法及情感分析

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于互信息和左右邻接熵改进的新词发现算法及情感分析

作者：潘嘉鑫华中科技大学

学位级别：硕士

在科技高速发展的今天,人们的生活方式在悄然发生着变化,交流和表达习惯也随之更替。在此过程中,网络上的新词层出不穷,特定领域的专业术语和固定表达也不断产生,新词的频繁出现影响着中文语言处理技术的准确性,给自动分词、情感分析等... 详细信息

在科技高速发展的今天,人们的生活方式在悄然发生着变化,交流和表达习惯也随之更替。在此过程中,网络上的新词层出不穷,特定领域的专业术语和固定表达也不断产生,新词的频繁出现影响着中文语言处理技术的准确性,给自动分词、情感分析等任务带来巨大挑战。现如今对新词识别的研究已经有很多,但识别新词的准确率并不高,针对这一现象,本文主要研究新词识别算法,基于互信息和左右邻接熵改进的无监督方法,旨在进一步提升新词识别的准确率。本文先研究识别新词过程中的难点,学习研究现有的新词发现算法,考虑到传统算法的不足之处后,提出本文的核心算法,基于Smooth NLP算法,给出了具体改进后的新词发现算法,定义了新的指标,将左、右邻接熵通过一定形式的结合定义为新的统计量来衡量候选词的边界自由度,并结合平均互信息对候选词进行筛选,再通过低频词过滤、停用词过滤等方法来去除不符合规则的垃圾词串,最终完成新词识别。本文提出的新算法可以更有效地识别新词,准确率较高。作为改进后的新词发现算法的应用,在新词识别的基础上,对新词情感进行判断,采用基于词向量和情感词典的判别方法,将候选词语转成词向量后,在候选词中选取出新词的相似词,统计其情感信息并选出情感相似词,计算新词与情感相似词间的情感倾向点互信息,从而完成新词的情感极性判别。通过对新词情感判别来作为新词发现的应用之一,在现实生活生产中具有较好的实际意义。

关键词：新词发现情感极性判断平均互信息邻接熵情感倾向点互信息

中文新词发现算法改进及其在舆情分析中的应用

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

中文新词发现算法改进及其在舆情分析中的应用

作者：蔡子旺河南财经政法大学

学位级别：硕士

新词在网络平台的出现频率越来越高,利用技术手段自动识别新词是舆情分析的重要组成部分,它直接影响着中文分词质量,也间接影响着文本挖掘效果。当前中文分词工具不能准确识别新词时,往往会将词串错误地切分,产生大量“词碎片”,造成完... 详细信息

新词在网络平台的出现频率越来越高,利用技术手段自动识别新词是舆情分析的重要组成部分,它直接影响着中文分词质量,也间接影响着文本挖掘效果。当前中文分词工具不能准确识别新词时,往往会将词串错误地切分,产生大量“词碎片”,造成完整词结构中信息部分丢失。并且新词识别技术存在着准确率不高、操作过程复杂、人工标注代价过高等共性问题。基于以上背景,本文在对现有文献总结和参考的基础上展开了后续的研究。在梳理现有中文新词发现技术路线的优势、劣势、原理与效果后,选择基于统计与规则的方法进行新词发现研究,并从概念层次对该思路作详细阐述。之后以舆情分析为主要应用场景,设计中文新词发现框架,包括构建候选词集与新词检测两大流程。首先,在构建候选词集部分,为了尽可能保留语料原本信息,利用N-gram算法提取重复串的特性提取字符串,结合词频、点互信息、左右邻接熵等词语特征统计量对字符串进行过滤。将第二届国际汉语分词大赛中北京大学所提供的训练语料集作为实验数据,与提供的对照语料相结合,对算法流程进行验证。实验证明,在有标准分词对照的情况下,通过网格搜索法确定特征统计量的最佳阈值,能够有效地过滤垃圾词串,改善新词识别效果。其次,在新词检测部分,为了解决特征统计量阈值的确定需要对照语料的问题,提出利用SVM分类模型和Jieba分词对算法进行补充。重点研究了将SVM分类算法通过匹配标注训练集融入到中文新词发现流程,通过将支持向量机得到的结果集成到词典中,更新现有的分词词典,从而完善现有分词工具。结果表明:将词特征和SVM相结合,能够实现新词的识别和提取,增强新词识别能力,径向基核函数新词识别准确率为74.8%,召回率为79.3%,得到的是最优实验结果。从研究连续性与实用性的角度考虑,利用本文提出的方法进行舆情分析。以新能源汽车为主题词爬取微博博文数据,将识别出的新词加入Jieba词典,提升分词精度。并通过词云图、LDA主题模型等技术分析舆情。结果说明人们普遍关注新能源汽车的发展前景,网络舆情导向整体向好。

关键词：新词发现舆情分析 N-gram算法支持向量机