检索结果-南通市图书馆

作者：王玉珏黑龙江大学

学位级别：硕士

文本分类任务是自然语言处理(NLP)领域最为基础而重要的一种任务。对于基于标准微调的分类方法,其往往需要足够的有标注数据规模作为模型参数训练的支撑,与日俱增的模型参数量也增加了训练、推理和存储成本。而提示学习方法虽然在一定... 详细信息

文本分类任务是自然语言处理(NLP)领域最为基础而重要的一种任务。对于基于标准微调的分类方法,其往往需要足够的有标注数据规模作为模型参数训练的支撑,与日俱增的模型参数量也增加了训练、推理和存储成本。而提示学习方法虽然在一定程度上缓解了上述问题,但相关方法普遍存在提示模板性能的不稳定性、人工设计提示的次优性,以及最优提示模板的搜索工作增加计算开销和复杂性等共有的不足。本文从不同角度进行了研究和尝试,并提出了3种适用于少样本文本分类的方法,在保证了一定实际应用价值的前提下,对上述几种主要问题进行解决或权衡。本文的主要贡献如下:(1)提出了基于提示学习模式句子顺序预测的分类方法(Prompt-Style Sentence Order Prediction with Contrastive Learning,PSSOP)。本方法设计了一个两阶段的数据增强,分别在不同的阶段对输入的样本数据进行重构与增强,与此同时设计并引入了提示适配器模块用于在降低参数更新开销的同时为模型注入任务相关知识。除此之外,设计了一个改进的对比学习方法,从第二阶段数据增强过程当中获取优化的正负样本。该方法能够有效完成少样本分类任务,在6个公开数据集上的实验结果表明该模型在充足样本与少样本场景下均取得了具有竞争力的分类性能,同时在模型总参数规模上具有优势。(2)提出了基于情感词典情感分析提示学习的分类方法(Dictionary-based Prompt Learning Method for Sentiment Analysis,DPSA)。本方法的关注点进一步细化到情感分析这一代表性的文本分类任务上,以连续提示的构建思想为启发,利用NLP领域的经典工具——情感词典,设计了一种基于标签鲁棒语义的提示嵌入初始化方式。此外引入了改良的长短时记忆网络优化样本的嵌入表示。通过将初始化的提示嵌入与样本嵌入进行拼接,获得语言模型的整体上下文语义表示,最后输入分类器获得预测结果。共计5个情感分析数据集上的实验结果证明了该方法在情感分析任务上的有效性。(3)提出了结合提示适配器与情感词典的分类方法。本方法围绕情感分析任务,将提示适配器模块与基于情感词典的情感分析提示学习方法相结合并进行了改进,通过对语言模型与提示适配器各层分别加入新的前缀提示向量的方式为各层引入了额外的可训练参数,优化了模型学习与适应不同下游任务的性能。共计5个情感分析数据集上的实验结果以及消融分析证明了该方法所做的整合与改进之处的有效性。

关键词：自然语言处理文本分类提示学习对比学习少样本学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于预训练的两阶段提示学习方法研究与实现

基于预训练的两阶段提示学习方法研究与实现

作者：江枫黑龙江大学

学位级别：硕士

随着自注意力(Self-Attention)机制对自然语言建模能力的显著提升,预训练语言模型(Pre-trained Language Model,PLM)在自然语言处理(Natural Language Processing,NLP)领域取得了统治级别的优势。近年来,各类参数高效学习(Parameter-Efficient Learning)方法层出不穷,提示学习(Prompt Learning)则是其中最具代表性的。通过将输入嵌入到模板的方式,提示学习能够对齐下游任务处理与语言模型预训练过程,充分挖掘预训练语言模型的潜力,并降低模型微调的成本,进一步扩展其应用场景。在现阶段提示学习领域中,大量研究表明提示(Prompt)的质量对语言模型表现至关重要,而现有的提示初始化方法往往不是最优的。针对提示学习中存在的问题,围绕文本分类(Text Classification,TC)任务,本文对提示初始化方法进行了深入的研究。具体来讲,本文在现阶段两个主流研究方向上进行了创新和改进,并进一步统一了提示初始化范式,内容如下:(1)本文提出基于数据增强的提示自监督预训练方法:通用提示预训练(Universal Prompt Pre-train,UPP)。UPP一方面利用生文本的连续性质构造提示预训练任务;另一方面则利用自然语言生成(Natural Language Generating,NLG)任务中样本的内在联系,提出数据增强修正(Data Augmentation and Correction,DAC)技术将其改造为提示预训练任务。在经过充分的预训练后,使语言模型获得一个应用在下游任务上的较优提示初始化值,大幅提升了其在文本分类任务上的表现。(2)本文提出基于知识蒸馏的提示迁移初始化(Prompt Initialization by Transfer,PIT)方法:PIT结合知识蒸馏(Knowledge Distillation,KD)思想提出蒸馏修正(Distillation Correction,DC)技术重构高细粒度文本分类任务和多领域文本分类任务形式,并指数级扩大了任务规模,获得具有软标签的提示上游训练任务。提示在上游任务集训练完成后,迁移应用至语言模型处理目标任务的提示微调(Prompt-based Tuning)过程中,大幅提升了语言模型的提示学习性能。(3)本文提出两阶段提示预训练(Two-Stage Prompt Pre-Train,TSPPT)方法:TSPPT引入通用子提示(Universal Sub-Prompt,USP)与任务子提示(Task-oriented Sub-Prompt,TSP),并在两个前置阶段使用UPP和PIT方法分别对子提示进行训练。以拼接后的子提示为初始化值,应用到语言模型在目标任务上提示微调的过程中。TSPPT通过统一提示初始化范式,显著提升了语言模型的提示学习性能,取得了现阶段最高水平(State-Of-The-Art,SOTA)表现。本文以自然语言处理领域中文本分类任务为目标,通过实验探究UPP、PIT和TSPPT的性能表现,对提示学习领域中的提示初始化问题进行深入研究与分析。

关键词：自然语言处理文本分类提示学习提示初始化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于文本生成的情感三元组抽取方法的研究

基于文本生成的情感三元组抽取方法的研究

作者：魏鑫黑龙江大学

学位级别：硕士

随着互联网发展,网络内容呈现爆炸式增长,准确而快速地分析网络文本内容所针对的对象、包含的意见以及情感倾向变得很关键。基于方面的情绪三元组抽取是情感分析中一项复杂而实用的子任务,该任务抽取文本多个情感元素,满足了上面的分析... 详细信息

随着互联网发展,网络内容呈现爆炸式增长,准确而快速地分析网络文本内容所针对的对象、包含的意见以及情感倾向变得很关键。基于方面的情绪三元组抽取是情感分析中一项复杂而实用的子任务,该任务抽取文本多个情感元素,满足了上面的分析需求,具有很大的研究价值。任务的目标是从文本中抽取方面词、意见词和情感极性,这三个情感元素一起构成了一个情感三元组。目前,应对该任务所采取的方法有很多,例如基于跨度的抽取、序列标记或者复杂的级联网络,从实验结果上来看,这些方法都取得了不错的性能,而在众多方法中,最近采用依存句法信息来增强模型的性能的新方法显得格外亮眼。就目前的研究进展来说,从具有复杂语法的句子中抽取情感三元组仍然面临一些挑战,如情感元素重叠问题、一个句子中存在多个情感三元组而出现抽取错误的问题,而恰好利用句法信息能够使两个问题得到缓解。除了利用依存句法、词性等语法信息之外,本文还提出一个想法:把情感三元组抽取任务塑造成文本生成任务,使得具有抽取和分类两种性质的任务达成统一,又凭借文本生成模型输出的无序性和灵活性,使得模型在抽取情感三元组时能够尽可能地准确和完备。基于上述信息,本文针对任务面临的问题和挑战,一共探索出了基于文本生成的三种方法。它们分别是:基于文本生成预训练模型将复杂的情感三元组抽取任务塑造成文本生成任务的模型MBTG,基于依存句法分析增强模型语义表征能力的模型MBDP,以及设计了句法语义互动模块、利用内外部语法语义来增强词汇之间的互动的模型MISS。上面三种方法都利用了语法语义信息,通过它们增强模型的语义表征能力,从而实现模型性能的提升,并且通过举例分析,三种方法都在一定程度上缓解了情感三元组抽取任务所面临的问题。以上三种模型都在多个数据集上进行了实验,实验结果表明,本文的方法简单而有效,其性能可与现有的前沿方法相媲美。

关键词：自然语言处理情感三元组抽取文本生成语义表征增强

基于领域泛化和信息增强的未知目标立场检测方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于领域泛化和信息增强的未知目标立场检测方法研究

作者：王震黑龙江大学

学位级别：硕士

在过去几年里,尽管立场检测研究取得了很大的进展,但是现有的立场检测工作大多只关注训练集和测试集分布一致的情况,却忽略了社交平台话题的特点,即较快的更新速度。处理新兴的陌生话题领域也因此变得极为重要。为此,本文使用了深度神... 详细信息

在过去几年里,尽管立场检测研究取得了很大的进展,但是现有的立场检测工作大多只关注训练集和测试集分布一致的情况,却忽略了社交平台话题的特点,即较快的更新速度。处理新兴的陌生话题领域也因此变得极为重要。为此,本文使用了深度神经网络作为基础模型来探索立场检测任务处理未知话题的方法。具体地,本文将从以下三个方面展开探索:（1）基于领域泛化的未知目标立场检测方法:本文将未知目标立场检测任务看作分类任务,首先使用了两个Bi-LSTM分别对话题和评论进行特征提取,并且使用了条件编码方式来将话题中的信息融合进文本的向量表示,最后,引入领域泛化方法中的对抗神经网络,以使模型能够捕获更加通识的信息特征表示。分析实验结果表明,将话题看作领域并且引入领域泛化方法有利于提升模型在未知话题下的检测性能。（2）基于数据增强的未知目标立场检测方法:在上文引入领域泛化方法的基础上,本文尝试使用回译的方法来对训练数据进行增强,首先将本文所用到的英文数据训练集使用现有的API翻译成其他语言,比如中文,接着再翻译回英文。为了使增强后的数据依然保持之前的标签特征,本文引入了CBERT模型,使用随机遮挡词汇并重新生成的方式来实现文本增强。实验结果表明文本数据增强对于本文的任务有着提升效果。（3）基于外部知识的未知目标立场检测方法:为了能让系统利用到一些词汇之间比较隐晦的联系,本文在上文的基础上,尝试使用预训练模型方式和对话题添加解释性信息来丰富信息表示,进一步达到引入外部知识的目的。实验数据表明,通过使用预训练模型产生的词向量包含了先验知识并且可以提升模型的检测性能。

关键词：立场检测领域泛化数据增强外部知识

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于BS架构的实习就业系统设计与实现

基于BS架构的实习就业系统设计与实现

作者：张兴华东北大学

学位级别：硕士

随着经济的快速发展,对于专业技能人员的需求量与日俱增,以培养应用型、技术型人才为目标的高等教育学校,在经济的推动下蓬勃发展,学校的规模不断扩大,学生实习就业管理日益繁重,传统手工操作已无法满足快节奏的办公需求,如何提高实习... 详细信息

随着经济的快速发展,对于专业技能人员的需求量与日俱增,以培养应用型、技术型人才为目标的高等教育学校,在经济的推动下蓬勃发展,学校的规模不断扩大,学生实习就业管理日益繁重,传统手工操作已无法满足快节奏的办公需求,如何提高实习就业管理水平,建立适合高等教育学校自身发展需要的实习就业管理信息系统,已成为高等教育学校信息化建设的首要问题。本文首先介绍了选题背景及任务,然后分析系统需求,通过详细的调研及业务流程分析,确定用户的功能性需求和非功能性需求,其中功能性需求主要包括用户登录、用户管理、实习管理、就业管理、基础信息,非功能性需求主要包括性能需求,安全性需求。其次进行系统设计,根据系统工程思想和工程化方法对系统功能、数据库、接口及界面进行设计。最后结合原型法,自底向上逐步实施系统,完成SQLserver数据库及各个功能实现,并对系统进行测试。本系统开发语言为Java,版本为MyEclipse8.5,后台数据库为SQLserver,开发过程中利用结构化、模块化思想,系统设一个主窗体,通过调用类加载导航条,动态改变调用内容,系统将每个模块封装到Jpanle类中,导航条调用每个Jpanle类实现各个模块的功能。本文分析了系统的B/S架构方式的特点,采用Java架构对系统进行了详细的设计;实现了系统的各个功能模块,分析了使用JSP技术开发系统的实现过程。系统采用B/S架构进行设计,大幅节约了开发经费和维护费用。总结了实习就业管理系统详细的业务需求、功能需求和性能需求。系统实现了设计之初的目标,通过对网络的优化以及对数据库信息的优化的等,提升了数据库访问的数据的速度,优化数据网络的同时对系统的界面等进行了便捷的设计,方便了用户使用提升了用户体验,达到了系统设计的目的。

关键词： B/S架构实习管理就业管理数据库技术

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

课堂观察应用管理系统设计与实现

课堂观察应用管理系统设计与实现

作者：齐明黑龙江大学

学位级别：硕士

课堂观察的出现极大的提高了教师的评课质量,进而提升教学水平。但是复杂的统计、专业的计算、大量的存档,都制约着课堂观察的普及和使用。本系统以信息化的手段解决上述问题。将重复性的、计算性的问题都交由计算机处理本系统提供3种... 详细信息

课堂观察的出现极大的提高了教师的评课质量,进而提升教学水平。但是复杂的统计、专业的计算、大量的存档,都制约着课堂观察的普及和使用。本系统以信息化的手段解决上述问题。将重复性的、计算性的问题都交由计算机处理本系统提供3种课堂观察范式:LICC、COLT、基于信息熵的课堂观察。这三种范式各有特点,各自适合不同的学科和年级。支持这3种范式,基本可以囊括黑龙江省内中小学开展的课程所用到的课堂观察方法。本系统提供对课堂观察量表的信息化管理方法。包括根据推荐内容创建量表、量表的互评、量表的在线录入、量表结果统计和分析。本系统还提供基于区域教研活动的课堂观察量表管理。在同一教研活动中,提高了观察量表的共享、改进、存档的效率。

关键词：课堂观察 B/S模式观察量表 LICC COLT 信息熵

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

税务申报系统的设计与实现

税务申报系统的设计与实现

作者：赵博黑龙江大学

学位级别：硕士

电子报税重点在于其测评库管理,采用动态数据结构及J2EE技术,分为指标模版、测评选项、对象分组、主体分组。测评活动管理,包括发起测评活动、生成测评账号。测评管理查询,分为测评管理、测评综合查询。系统维护模块采用参数化设计,主... 详细信息

电子报税重点在于其测评库管理,采用动态数据结构及J2EE技术,分为指标模版、测评选项、对象分组、主体分组。测评活动管理,包括发起测评活动、生成测评账号。测评管理查询,分为测评管理、测评综合查询。系统维护模块采用参数化设计,主要包括操作人员及权限维护,指标功能维护等功能。实现机构管理、用户和角色管理、定义考核指标、维护指标信息、维护操作人员及考评人员等权限。考核管理模块,主要从系统整体功能来区分,由系统管理人员操作使用,对单位及部门分别进行考核。本文所讨论实现的是一个全方位报税系统,全面应用Web技术,安全体系采用PKI技术。对指标定责情况监控尤为重要。指标定责情况监控分为指标总体分解情况、单项逐级分解情况、本级考评情况、下级考评情况。本系统能管理用户查询,对一些业务参数进行设置等工作。税务反馈信息发布过程是受监控管理,查询分析填报审核都由考评组织定则,税务计划开展方案管理、指标导入等基础工作。

关键词：电子申报 CA J2EE XML

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

声纹识别在声控系统中的研究与实现

声纹识别在声控系统中的研究与实现

作者：付浩楠黑龙江大学

学位级别：硕士

随着人类数字化生活需求的增加和多媒体时代的来临，人们越来越渴望打破过去传统的人机交互模式，寻找一种更加自然、友好、稳定的交互方式。近期iphone4s的Siri语音控制功能的推出再一次引领了语音识别的研究热潮。本文正是在这种背景... 详细信息

随着人类数字化生活需求的增加和多媒体时代的来临，人们越来越渴望打破过去传统的人机交互模式，寻找一种更加自然、友好、稳定的交互方式。近期iphone4s的Siri语音控制功能的推出再一次引领了语音识别的研究热潮。本文正是在这种背景之下，通过构建基于Windows的语音控制系统作为声纹识别的具体应用环境，将声纹识别和语音识别结合起来，实现一个具有声纹识别功能的分权限语音控制系统。同时将本文的研究重心放在声纹识别相关技术的研究中，以寻求一种具备声纹识别功能的人性化交互模式。本文的具体工作如下：本文首先介绍了基于GMM（Gaussian Mixture Model）的声纹识别和基于Speech SDK（Software Development Kit）的语音控制的关键技术。针对传统GMM和GMM-UBM（Universal Background Model）受训练样本量的制约和说话人被强制趋于统一分布的弱点，本文提出了基于区分性GMM的建模方法和区分性识别方法，以增加说话人之间的差异性为出发点，使模型能够更好的拟合说话人特征矢量的空间分布。同时将建模过程中衍生的两个具有区分性的子UBM作为特征空间性别分类器，来划分特征空间和模板库，从而提高系统的识别率和响应速度。其次本文针对传统的K-means聚类算法只具备局部寻优能力和对初始聚类中心及噪声点敏感的弱点，本文提出了基于密度和方差的加权距离聚类、基于模拟退火思想的全局优化聚类算法应用到声学特征类的形成。通过改进的聚类算法使呈现椭圆形分布的高维语音数据能够更精确的形成声学特征类，使各阶单高斯分量承担更精确的数据，进而提高系能性能，同时此算法也可被推广到其他领域中。最后本文基于区分性GMM和Speech SDK语音识别引擎及Windows API（Application Program Interface）函数和消息响应机制的基础之上，构建了具有声纹识别功能的分权限语音控制系统，完成了具备声纹识别功能的人机交互的目标。

关键词：语音控制声纹识别 GMM-UBM 区分性高斯混合模型特征类

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于注意力机制的语音情感识别的研究

基于注意力机制的语音情感识别的研究

作者：于德发黑龙江大学

学位级别：硕士

语音情感识别的目标就是模仿人类的感知机制,最主要的任务就是从一段语音信息中,提取和情感有关的特征,然后对这些特征使用特定的模型进行计算,最终获得每段语音的情感结果标签。在该问题背景的基础上,本文进行以下研究:1、语音特征的提... 详细信息

语音情感识别的目标就是模仿人类的感知机制,最主要的任务就是从一段语音信息中,提取和情感有关的特征,然后对这些特征使用特定的模型进行计算,最终获得每段语音的情感结果标签。在该问题背景的基础上,本文进行以下研究:1、语音特征的提取:MFCC特征的缺点是忽略了特征之间的高度相关性。特征之间的相关性会被深度学习的网络结构更好的去提取,使得模型得以更好的训练。针对这一缺点,本文提出使用log fbank特征。log fbank更好的保存了特征之间的相关性,更适用于基于神经网络的模型。经过实验获得了比MFCC更好的效果;同时使用一阶差分和二阶差分保留时频谱中的动态信息,辅助信息进一步提高模型的识别准确率;并尝试试验了不同的特征组合方式,找出得到最优实验结果的方式;在此基础上进一步对CNN卷积来获取更深层次特征进行研究,并展示了比原实验效果更好的表现。2、自注意力机制研究:语音作为输入也有自己的时序信息。对于某一帧语音,它前面或者后面会有某一帧或几帧语音上的滤波器特征对该帧有一定的影响,针对这样的结构,本论文提出了自注意力机制模型来对特征进行训练。针对时序信息使用自注意力（self-attention）机制去抓取相关权重信息,并摒弃了RNN单元,这样可以极大利用GPU的并行性去提高训练的速度;同时在模型的基础上做了一些创新,借鉴NLP领域让模型自行学习词向量的方法,使用位置向量矩阵算法去获取序列的相对位置信息;并将注意力机制获取的信息进行更深层次的一维卷积;3、胶囊网络模型研究:胶囊网络和注意力机制在原理上有着相似之处,都会计算各层表示,胶囊网络的存在概率可以等同于注意力机制的注意权重等,论文针对他们的异同点进行研究,认为胶囊网络是一种特殊的注意力形式,并研究了胶囊网络对情感识别的影响,结果发现胶囊网络对情感识别也有一个不错的效果。

关键词：语音情感自注意力机制 log fbank 胶囊网络神经网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

中国铜元版别信息系统设计与实现

中国铜元版别信息系统设计与实现

作者：黄传涛东北大学

学位级别：硕士

铜元是先人用过的钱币的一种,是众多古董门类中的一个品种。从晚清到民国(1860年到1949年)不到一百年的时间里,大约产生了 10万种的铜元类别,很多专家学者也不可能完全掌握清楚这么多的铜元版别,更别提普通的爱好者和初学者了。目前虽... 详细信息

铜元是先人用过的钱币的一种,是众多古董门类中的一个品种。从晚清到民国(1860年到1949年)不到一百年的时间里,大约产生了 10万种的铜元类别,很多专家学者也不可能完全掌握清楚这么多的铜元版别,更别提普通的爱好者和初学者了。目前虽然有各种的研究文献做参考,但是没有一个网络化、数字化的专业的铜元资料数据库存在,传统的纸质文献携带起来不方便,同时在浩瀚如烟的品种中查找实在费时。因此本课题围绕中国铜元版别信息数据库系统展开设计,旨在开发出一个具有开放性的公益研究学习资料库平台,供广大专家学者和普通爱好者查询。为了实现中国铜元版别信息数据库系统,本文先对要实现的功能按照系统权限分类,做了全面的分析,抽象提炼出了模块,本系统的核心模块有:系统登录权限验证、铜元版别信息的维护和查询、鉴定流程的设置和专家鉴定等。针对系统的整体功能系统在底层数据库中进行了设计,旨在设计出一个满足适应未来需求变更需要的、灵活的、可扩展性好的高效率系统。设计的过程中,尽量遵循关系数据库的“三级范式”原则,同时为了考虑降低编程复杂性和提高系统性能,又适当的进行了“反三级范式”的设计。在详细设计阶段,对系统实现的用到的对象,进行了概括和提炼,在对应底层数据库结构的基础上,吸取了模块化设计的“高内聚,低耦合”的精髓,使得程序设计的模块化合理化。在编码阶段,严格实现详细设计阶段总结的类,由于本系统开发采用了 ***技术,在设计阶段就分层,因此实现的时候完全遵循了 MVC的技术特点,本系统在实现的时候也考虑到了提高系统性能、降低硬件负载,所做的工作是查询结果静态化,静态话的方法也在本文中进行了详细的叙述,在论述本文所做的工作时候,使用了 UML的用例图、时序图、活动图和流程图。最后本文对实现的编码进行了全面的测试。

关键词：铜元 *** MVC 静态化