检索结果-南通市图书馆

基于分布式表示的汉字部件表义能力测量与应用

在线全文

学校读者我要写书评

暂无评论

中文信息学报 2021年第5期35卷 17-26页

作者：梁诗尘唐雪梅胡韧奋吴金闪刘智颖北京师范大学中文信息处理研究所北京100875 北京师范大学系统科学学院北京100875

汉字的表义性是其区别于表音文字的一大特点。部件作为构字单位,同汉字的意义之间有着很大的联系。然而,汉字部件的表义能力究竟如何是学界尚待讨论的课题。针对这一问题,该文从汉字部件入手,提出了融合部件的字词分布式表示模型。该模... 详细信息

汉字的表义性是其区别于表音文字的一大特点。部件作为构字单位,同汉字的意义之间有着很大的联系。然而,汉字部件的表义能力究竟如何是学界尚待讨论的课题。针对这一问题,该文从汉字部件入手,提出了融合部件的字词分布式表示模型。该模型在向量内部评测任务上性能获得了一定提升,在汉字理据性测量任务上也与人工打分结果显著相关。基于该模型,进一步提出了部件表义能力的计算方法,对汉字部件的表义能力做了整体评估,并结合部件的构字能力建立了现代汉字部件的等级体系。测量结果显示,现代汉字部件具有一定表义能力,但整体而言表义能力偏低。最后,将测量结果应用于对外汉语教学中,确立了适用于部件教学法的部件范围,并提出了对应的汉字教学顺序方案。

关键词：汉字部件表义能力测量分布式表示

面向数字人文的人物分布式语义表示研究——基于CBDB数据库和古籍文献

在线全文

学校读者我要写书评

暂无评论

图书馆杂志 2020年第8期39卷 94-102页

作者：潘俊浙江科技学院理学院大数据科学系浙江杭州310023

开放互联环境下的人文研究亟须海量数据资源和新型研究方法。基于中国历代人物资料库(CBDB)数据库和古籍文献采集数据并构建历史人物关系网络,提出一种改进的融合人物影响力的网络表示学习方法,将历史人物表示成具有语义的低维实向量。... 详细信息

开放互联环境下的人文研究亟须海量数据资源和新型研究方法。基于中国历代人物资料库(CBDB)数据库和古籍文献采集数据并构建历史人物关系网络,提出一种改进的融合人物影响力的网络表示学习方法,将历史人物表示成具有语义的低维实向量。基于数字人文理念,对人物相关度计算和人物关系挖掘等人文计算任务展开实证研究。通过将网络表示学习引入历史社会网络分析,可为研究者在海量人文数据中挖掘知识、发现问题提供辅助,对丰富和扩展数字人文视角下的人文社科研究范式和研究思维具有积极意义。

关键词：数字人文分布式表示网络表示学习社会网络分析

在线全文

学校读者我要写书评

暂无评论

层次概念的分布式表示和学习方法综述

计算机技术与发展 2023年第10期33卷 1-7页

作者：朱晓光徐州工程学院管理工程学院江苏徐州221018

层次概念能够有效解释语言模型的隐含知识,并且提升语言模型的结构化优化性能。针对层次概念表示和学习模型的多样化发展,该文分析了层次概念表示的线性空间、概率空间和文本蕴含性质,梳理了概念学习模型的层次结构和优化原理,用于促进... 详细信息

层次概念能够有效解释语言模型的隐含知识,并且提升语言模型的结构化优化性能。针对层次概念表示和学习模型的多样化发展,该文分析了层次概念表示的线性空间、概率空间和文本蕴含性质,梳理了概念学习模型的层次结构和优化原理,用于促进概念学习模型的应用效果。通过阐述概念学习过程和语义空间的层次性质,归纳层次概念学习的四类计算模型:基于条件熵的文本层次概念抽取;建立语言资源的概念层次和神经网络的隐含层次之间的映射;通过迭代的随机过程拓展主题模型;在正则化因子中添加语义关系约束。通过概念学习综述得出如下结论:层次性的语言模型广泛结合了显明和隐含的概念表示方法;统计模型和语言资源的语义映射是拓展层次结构的主要路径;层次结构具有双曲空间和嵌套球形结构;层次结构分析可以提升统计模型的解释水平。

关键词：层次概念概念学习分布式表示统计语言模型层次主题模型

在线全文

学校读者我要写书评

暂无评论

基于跨语言分布式表示的情感分类研究

基于跨语言分布式表示的情感分类研究

作者：马春钰北京邮电大学

学位级别：硕士

随着互联网的发展,世界各地人们之间的距离正在被逐渐拉近,但语言不通的问题却作为一个主要因素阻碍了不同地区人们之间的沟通交流,自然语言处理也由于同样的原因造成了不同语言上的发展不平衡问题。近年来,跨语言技术的提出,很大程度... 详细信息

随着互联网的发展,世界各地人们之间的距离正在被逐渐拉近,但语言不通的问题却作为一个主要因素阻碍了不同地区人们之间的沟通交流,自然语言处理也由于同样的原因造成了不同语言上的发展不平衡问题。近年来,跨语言技术的提出,很大程度上缓解了这一问题,跨语言情感分类作为其中的一个子任务,利用源语言中丰富的语料资源来帮助一些语言资源稀缺的目标语言构建起情感分类系统。常见的跨语言情感分类方法往往在构建两种语言之间的情感联系时需要使用到一些跨语言的情感监督信息,例如双语情感词典等,可对于一些资源稀缺的语言来说,构建这些情感监督信息本身就是一个有挑战性的问题;还有一些方法能够使用无监督的方式直接建立两种语言间的联系,但是这些方法关注的词汇往往是一些出现频次高的词汇,例如代词、名词等,这些词汇不具有典型的情感极性,在情感分类任务中无法发挥其作用。为了弥补上述不足,本研究首先提出了一种无监督构建跨语言情感词汇分布式表示的方法,这种方法只需要用到两种语言的单语词向量和在源语言上的一个情感词集合。方法首先使用对抗生成网络对齐两种语言的向量空间,得到两种语言间的映射关系,接着使用自学习框架,进一步调整这一映射关系,增强这一跨语言词向量对情感信息的表达能力;由于本研究着眼的情感分类方法是句子级别的,针对这一步得到的跨语言情感词向量,本研究探索尝试了多种句子表示方法,包括简单的池化结构和常用于文本编码的时间循环结构,并提出了一种基于自注意力结构和池化方法的句子表示结构,这一方法的目的是平衡句子表示能力和计算时间损耗。除了上述基于跨语言情感词向量的结构外,本研究进一步对当前在许多任务上有显著表现的大规模语言模型预训练方法进行了结构和方法层面的对比。并针对多个跨语言预训练方法,进行了对跨语言情感分类任务的微调,通过对不同类别和不同语言下数据集的实验测试,进行了充分的理论和实验分析。

关键词：跨语言情感分类预训练分布式表示

基于Bi-LSTM和分布式表示的网页主题相关度计算

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机应用与软件 2018年第7期35卷 57-62页

作者：王锋白宇蔡东风王铁铮沈阳航空航天大学计算机学院辽宁沈阳110136 辽宁省知识工程与人机交互工程技术研究中心辽宁沈阳110136

针对向量空间模型忽略了查询关键词和网页的语义相关问题,提出一种基于双向LSTM(bidirectional long short-term memory)、词的分布式表示和文档的分布式表示的网页主题相关度计算方法。该方法通过双向LSTM和词的分布式表示对查询关键... 详细信息

针对向量空间模型忽略了查询关键词和网页的语义相关问题,提出一种基于双向LSTM(bidirectional long short-term memory)、词的分布式表示和文档的分布式表示的网页主题相关度计算方法。该方法通过双向LSTM和词的分布式表示对查询关键词进行扩展,并得到查询扩展的主题关键词集合的词向量;将搜索到的网页通过分布式表示方法得到网页向量;对主题关键词集合和网页进行相关度计算,得到主题相关网页。实验采用搜狗实验室公开的搜狗全网新闻数据作为词向量训练语料,搜狗评测数据作为测试语料。实验结果表明采用该方法可以提高主题相关网页计算的准确率,性能明显高于向量空间模型。

关键词：双向LSTM 分布式表示查询扩展网页主题相关度计算

在线全文

学校读者我要写书评

暂无评论

分布式单词表示综述

计算机学报 2019年第7期42卷 1605-1625页

作者：孙飞郭嘉丰兰艳艳徐君程学旗中国科学院网络数据科学与技术重点实验室北京100190 中国科学院计算技术研究所北京100190 中国科学院大学北京100190

单词表示作为自然语言处理的基本问题,一直广受关注.传统的独热表示丢失了单词间的语义关联,因而在实际使用中易受数据稀疏问题困扰.而分布式表示通过将单词表示为低维稠密实数向量,捕捉单词间的关联信息.该表示方式可在低维空间中高效... 详细信息

单词表示作为自然语言处理的基本问题,一直广受关注.传统的独热表示丢失了单词间的语义关联,因而在实际使用中易受数据稀疏问题困扰.而分布式表示通过将单词表示为低维稠密实数向量,捕捉单词间的关联信息.该表示方式可在低维空间中高效计算单词间的语义关联,有效解决数据稀疏问题.作为神经网络模型的基本输入,单词分布式表示伴随着深度学习被广泛应用于自然语言处理领域的方方面面.从早期的隐式语义分析,到最近的神经网络模型,研究人员提出了各种各样的模型来学习单词的分布式表示.本文梳理了单词分布式表示学习的发展脉络,并从模型利用上下文入手,将这些模型统一在分布语义假设框架下,它们的区别只在于建模了单词不同的上下文.以隐式语义分析为代表的话题模型,利用文档作为上下文,建模了单词间的横向组合关系;以神经网络语言模型为代表的工作,则利用单词周围单词作为上下文,建模了单词间的纵向聚合关系.此外,本文还总结了单词分布式表示目前面临的主要挑战,包括多义词的表示、稀缺单词表示学习、细粒度语义建模、单词表示的解释性以及单词表示的评价,并介绍了最新的已有解决方案.最后,本文展望了单词表示未来的发展方向与前景。

关键词：单词表示分布式表示分布式单词表示表示学习深度学习

在线全文

学校读者我要写书评

暂无评论

基于跨语言分布式表示的跨语言文本分类

基于跨语言分布式表示的跨语言文本分类

作者：高国骥哈尔滨工业大学

学位级别：硕士

本文的研究课题为跨语言文本分类,第一章首先介绍了该任务的来源、背景与意义,并总结了目前学术界对于该任务的研究现状,尤其是基于跨语言词向量表示的跨语言文本分类分类的研究进展。最后阐述了本文的研究路线与各章主要内容。第二章... 详细信息

本文的研究课题为跨语言文本分类,第一章首先介绍了该任务的来源、背景与意义,并总结了目前学术界对于该任务的研究现状,尤其是基于跨语言词向量表示的跨语言文本分类分类的研究进展。最后阐述了本文的研究路线与各章主要内容。第二章中本文首先介绍了单语词向量的训练方法,并由单语词向量的训练方法出发,从两方面阐述了本文所使用的基线系统:第一种为基于线性映射的跨语言词向量训练方法,包括从源语言向目标语言的单向映射方法和基于典型关联分析的双向映射方法,第二种为单语词向量的训练方法skip-gram模型的直接推广,我们以这两种方法作为我们的基线系统。第三章中,本文分析了第二章中所述基线系统的不足之处,从两方面对基线系统进行了改进:首先我们基于基线系统中词向量的训练和分类器的训练两阶段所导致特征和分类器不适配的问题,提出了一种联合训练的方法,对词向量与分类器联合训练。其次,针对基线系统中分类器模型较简单而拟合能力不够强的缺点,利用四种不同的分类器对分类进行了改进。我们在两个跨语言文本分类数据集上进行实验验证了我们的改进的有效性。第四章中,我们提出了一种全新的基于语义匹配的跨语言文本分类模型,将跨语言分布式表示的训练重新抽象为语义匹配问题,通过句意匹配任务训练一个句子编码器来同时得到句子和词的跨语言表示,训练分类器时直接采用句子编码器的一部分结构。我们在两个跨语言文本分类数据集上验证了我们模型的有效性。同时我们在单语文本分类任务上进行实验,证明了我们模型中的句子编码器作为分类器同样有较好的性能。本文的创新主要体现在:首先,将两个训练引入跨语言文本分类任务中。训练与任务相关的分布式表示,并取得了较好的结果。对多种分类器在跨语言文本分类上的任务进行了实证性研究。最后,将跨语言文本分类模型看做语义匹配问题,并设计了一种全新的句子编码器,能够充分利用长距离信息和局部信息对句子进行编码。最终在跨语言文本分类任务上取得了良好的性能。

关键词：跨语言分布式表示文本分类联合训练语义匹配

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于分布式表示的答案质量自动评价

基于分布式表示的答案质量自动评价

作者：吴芳颖哈尔滨工业大学

学位级别：硕士

高考答题机器人是人工智能问答技术在实际场景中的应用,答案自动评价也是与之相关的一个重要课题,本课题面向高考历史简答题进行答案质量自动评价。早期的简答题答案自动评价系统依赖结构化的数据,使用规则进行学生答案和参考答案的匹... 详细信息

高考答题机器人是人工智能问答技术在实际场景中的应用,答案自动评价也是与之相关的一个重要课题,本课题面向高考历史简答题进行答案质量自动评价。早期的简答题答案自动评价系统依赖结构化的数据,使用规则进行学生答案和参考答案的匹配计算。后来,研究者们基于字符串、词汇、浅层语义特征计算学生答案和参考答案的匹配度。然而依据规则进行答案评价通用性不强,而浅层语义特征无法准确表达文本真实语义。基于深度学习的分布式表示方法将文本映射到语义空间中,近年来被应用于多种自然语言处理任务中并取得成功。本课题主要研究基于分布式表示进行历史简答题学生答案自动评价的方法,并与传统的基于特征工程的评价方法进行比较。本文主要包括以下三个部分:第一,使用传统机器学习方法融合多种特征组合,计算学生答案和参考答案的相似度作为答案评价依据,为基于分布式表示的答案质量评价方法提供一个较强的基线。分析字词共现特征、基于信息检索模型的相关性特征以及基于深度学习的语义特征对于计算学生答案和参考答案相关性的作用,使用排序支持向量机(Ranking SVM)线性融合三类特征并进行特征选择。由于学生答案与参考答案长度不一致,需要进行参考答案的扩展,对模型评价性能也有所提高。第二,将基于分布式表示的文本对匹配度计算、基于pair-wise的有监督排序学习模型融合到一个框架,根据学生答案与参考答案的匹配度进行排序学习。使用现有的基于深度神经网络的文本向量表示方法,训练得到参考答案和学生答案的段落分布式表示。并使用余弦相似度、相似度矩阵模型、张量模型计算学生答案和参考答案的匹配度,根据其匹配度进行学生答案评价。由于实验数据有限,本文构造伪数据进行训练,得到的模型在历史简答题答案评价任务上的表现与特征工程方法相当。第三,在小规模数据上训练一个基于深度神经网络的答案质量评估模型,分别使用双向LSTM和CNN-LSTM对学生答案和题目进行建模得到其分布式表示,计算两个向量的余弦相似度进行答案质量估计。在现有的真实小规模数据上进行模型训练和测试,通过调整训练数据规模,从而探究实验数据规模对模型训练的影响。

关键词：答案评价分布式表示深度学习神经网络语义相似度

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于bigram的分布式表示研究

基于bigram的分布式表示研究

作者：马超义北京邮电大学

学位级别：硕士

在自然语言处理领域中,词和句子是最基本的表示单位。词是一种抽象的表示方法,往往包含多种含义,不同词间的关系也各不相同。句子可以看作词序列,具有特定的句法结构,内涵也更为丰富。分布式表示研究的目表是,为每个词、句子赋予恰当的... 详细信息

在自然语言处理领域中,词和句子是最基本的表示单位。词是一种抽象的表示方法,往往包含多种含义,不同词间的关系也各不相同。句子可以看作词序列,具有特定的句法结构,内涵也更为丰富。分布式表示研究的目表是,为每个词、句子赋予恰当的向量表示,服务于后续的信息检索、语义挖掘等任务。语言模型的选择是分布式表示研究的基础。当前基于神经网络的分布式研究方法多采用n-gram语言模型,基于文本条件独立假设,可将n-gram模型简化为bigram模型,降低参数空间,解决数据稀疏问题。本文提出了基于bigram语言模型的分布式表示改进方法,将词对间的位置信息、句法依存信息等融入其分布式表示之中。同时完成了中文关系数据集的构建。主要研究内容和阶段成果如下:第一、在词分布式表示研究方面,提出了基于位置信息的词分布式表示优化方法。本文认为,现有的动态窗口方法中,位置权重都通过人为设定,不能真实反映词间关系。因此提出了两种动态窗口权重改进方案。首先是自适应的权重因子方法,针对不同语料,学习出不同权重因子。以及基于KL散度的权重向量方法,为每个目标词计算自己的权重向量。在词相似性及语义、语法评估指标中,都有显著提高。第二、构建了中文关系抽取数据集。本文提出了基于弱监督和半自动的中文关系抽取数据集构建方法,借助维基百科、sogouCA新闻语料及百度API,完成弱监督句子抽取,借助循环神经网络实现半自动标注,最终通过大量人工标注完成数据集的构建。数据集被选为中文倾向性分析评测(COAE)任务语料,对中文关系抽取发展起到了推到作用。第三、句子分布式表示研究方面,本文提出了基于依存路径的关系抽取改进算法,借助依存句法分析结果,改变神经网络词序列的输入结构。本文进行了多组实验对比,发现将传统自然语言处理特征融入神经网络结构的做法非常有效。

关键词：分布式表示 bigram 位置权重数据集关系抽取