检索结果-南通市图书馆

针对机器阅读理解跨度提取任务自训练方法的研究

在线全文

学校读者我要写书评

暂无评论

针对机器阅读理解跨度提取任务自训练方法的研究

作者：付蒙恩湘潭大学

学位级别：硕士

机器阅读理解(Machine Reading Comprehension)旨在教授机器在理解给定的段落文本后回答问题的正确答案,它也是自然语言理解的基础和长远的目标。目前已经存在多种不同形式的机器阅读理解任务,比如抽取式和推理式阅读理解任务,研究人员... 详细信息

机器阅读理解(Machine Reading Comprehension)旨在教授机器在理解给定的段落文本后回答问题的正确答案,它也是自然语言理解的基础和长远的目标。目前已经存在多种不同形式的机器阅读理解任务,比如抽取式和推理式阅读理解任务,研究人员通常专注于一种类型的任务的研究,但现实生活中的应用情况往往需要模型能够同时处理多种不同类型的任务。其次自然语言处理模型往往以监督学习的方法在大量的标签数据样本上进行训练,以期望模型能够学到更多潜在的知识。然而,在实际应用场景诸如法律、金融和医疗等领域标注数据严重缺失,而标注大量样本的成本比较昂贵。综上所述,如何有效地处理多任务阅读理解数据以及无标注数据成为了本文研究的重要内容。针对多任务阅读理解数据处理的问题,已有的方法通过引入额外的辅助损失函数分别处理不同的阅读理解任务。然而基于辅助损失的多任务学习模型往往采用平均损失加权方法,这样的处理并没有在模型训练中实现多任务之间的平衡。其次针对无标注数据的使用,自训练方法可以有效利用标注和无标注数据提升深度学习模型的性能。在自然语言处理领域,自训练方法广泛应用与文本分类和序列标注任务中,然而大多数的方法都是基于句子嵌入对于目标标签的概率分布进行预测从而选择伪标签样本,这样的方法对于跨度提取任务中并不适用,因为跨度提取任务需要模型从词级层面预测问题的答案跨度。本文的创新工作如下:我们提出了阅读理解跨度提取自训练方法,该方法由两部分组成:多任务融合训练阅读理解模型和基于词级的伪标签选择器。多任务融合训练阅读理解模型通过将不同任务模块的输出统一为跨度提取任务输出,有效的解决了基于辅助损失函数的多任务学习模型无法实现训练中多任务之间的平衡的问题。基于词级的伪标签选择器使用模型预测输出中的开始和结束位置的置信度获取有价值的伪标签数据,有效的将自训练方法应用至阅读理解跨度提取任务中,有效地解决文本自训练方法在词级层面获取伪标签的问题。我们在SQu AD2.0、CAIL2019以及医嘱文本数据集的进行了实验,结果表明我们提出的机器阅读理解跨度提取自训练方法在法律和医疗领域对于机器阅读理解模型性能的提升效果达到1-2%。

关键词：深度学习机器阅读理解预训练模型多任务学习自训练方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

半监督自训练方法综述

重庆师范大学学报（自然科学版） 2021年第5期38卷 98-106页

作者：吕佳李婷婷重庆师范大学计算机与信息科学学院重庆401331 武汉大学信息管理学院武汉430072

【目的】通过介绍半监督自训练的背景及自训练方法的理论、训练机制、特征属性、比较标准,并梳理自训练方法的应用场景和存在的主要问题,为自训练方法的进一步研究提供参考。【方法】检索半监督自训练方法的相关文献,回顾近些年自训练... 详细信息

【目的】通过介绍半监督自训练的背景及自训练方法的理论、训练机制、特征属性、比较标准,并梳理自训练方法的应用场景和存在的主要问题,为自训练方法的进一步研究提供参考。【方法】检索半监督自训练方法的相关文献,回顾近些年自训练方法研究领域取得的进展并进行归纳总结。【结果】首先,介绍了半监督自训练方法的背景及自训练方法的理论。然后,从相关研究中梳理了自训练方法训练机制、特征属性、比较标准。在训练机制部分,归类总结了自训练学习过程中训练集的扩充方法;在特征属性部分,分别从自训练方法的置信度度量方式和训练过程中的停止准则进行阐述;在比较标准部分,论述了衡量自训练方法有效性的评价指标。最后,整理归纳了自训练方法的应用场景和主要存在的问题。【结论】半监督自训练方法的理论研究和应用探讨在未来一段时间仍然是机器学习研究的重点和热点之一,本研究对于理解半监督自训练方法的学习机理以及解决实际应用问题等都具有重要的理论价值和现实意义。

关键词：半监督学习自训练方法标记样本无标记样本噪声

在线全文

学校读者我要写书评

暂无评论

结合密度峰值优化模糊聚类的自训练方法

重庆师范大学学报（自然科学版） 2019年第2期36卷 94-100页

作者：罗云松吕佳重庆师范大学计算机与信息科学学院重庆401331 重庆市数字农业服务工程技术研究中心重庆401331

【目的】为了在迭代自训练之前探索数据集分布情况,挑选出所含信息量较大且置信度较高的无标记样本加入训练集训练,让训练出的初始分类器有较高的准确性,提高自训练方法的泛化性。【方法】以聚类假设为基础,先对无标记样本集进行密度峰... 详细信息

【目的】为了在迭代自训练之前探索数据集分布情况,挑选出所含信息量较大且置信度较高的无标记样本加入训练集训练,让训练出的初始分类器有较高的准确性,提高自训练方法的泛化性。【方法】以聚类假设为基础,先对无标记样本集进行密度峰值聚类,在人工地选出聚类中心后,将新的聚类中心作为模糊聚类的初始聚类中心进行模糊聚类,从而筛选出有用的无标记样本。【结果】通过使用密度峰值优化模糊聚类算法,筛选出所含信息量大且置信度高的样本加入了训练集,训练出泛化性更强、分类精度更高的分类器。【结论】实验结果表明,改进后的自训练方法能快速发现样本集原始空间结构,筛选出有用无标记样本加入训练集,与结合其他聚类算法的自训练方法相比分类精度有所提高。

关键词：半监督学习自训练方法密度峰值优化模糊聚类聚类假设

在线全文

学校读者我要写书评

暂无评论

半监督自训练方法的研究

半监督自训练方法的研究

作者：黎隽男重庆师范大学

学位级别：硕士

传统的机器学习技术依赖于大量有标记样本进行训练,但是在实际应用中大量的有标记样本获取困难,相比之下,无标记样本廉价、容易获取。因此,只需要少量的有标记样本和充分利用大量无标记样本的半监督学习引起越来越多人关注。自训练方法... 详细信息

传统的机器学习技术依赖于大量有标记样本进行训练,但是在实际应用中大量的有标记样本获取困难,相比之下,无标记样本廉价、容易获取。因此,只需要少量的有标记样本和充分利用大量无标记样本的半监督学习引起越来越多人关注。自训练方法作为半监督学习方法中的一种,由于其简单有效,不需要特定的假设条件,得到了广泛的应用。然而自训练方法也存在着许多问题,比如:如何解决自训练方法误标记无样本的问题;自训练方法中置信度低样本利用率不足的问题;如何选取初始化自训练分类器的有标记样本集的问题;如何选取无标记样本给自训练方法迭代的学习,从而更好的提高自训练方法的泛化性的问题。针对这些问题,本文对自训练方法进行了研究,完成的主要工作如下:提出了一种结合主动学习和置信度投票的集成自训练方法。该方法用置信度投票结合的策略解决集成自训练算法如投票策略容易误标记离决策边界近的样本的问题;置信度策略容易误标记异构集成分类器预测类别不一致的样本的问题;并且用主动学习策略解决了对于置信度低的样本,集成自训练分类器利用率不足的问题。在UCI数据集上的对比实验结果表明,该算法在性能上优于对比算法。提出了一种基于近邻密度和半监督KNN的集成自训练方法。该方法用近邻密度方法选取初始化的已标注样本,避免已标注样本周围k个近邻样本成为已标注候选集,这样使初始化的已标注样本间的距离尽量分散,具有更多信息量。为了提高数据剪辑的性能,用半监督KNN代替WKNN,弥补WKNN做数据剪辑的时候只考虑到了有标记样本对待测样本类别的影响,而没有利用待测样本周围的无标记样本的缺点,从而让数据剪辑技术更好的解决自训练方法误标记无标记的问题。最后,通过在UCI数据集上的对比实验来验证了该算法的有效性。提出一种结合半监督聚类和数据剪辑的自训练方法。该方法在自训练方法每次迭代的时候,利用少量的有标记样本和大量的无标记样本进行半监督聚类,从而选出聚类隶属度高的无标记样本给NB分类,用这种策略选出的无标记样本比随机选出的无标记样本更具有代表性。然后该算法利用半监督数据剪辑技术来过滤掉聚类隶属度高,但是NB误分类的无标记样本,解决了自训练方法误标记样本的问题。在UCI数据集上,证明了该算法的有效性。

关键词：半监督学习自训练方法数据剪辑 K近邻聚类

结合空间—光谱信息的快速自训练高光谱遥感影像分类

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

遥感学报 2024年第1期28卷 219-230页

作者：金垚董燕妮杜博中国地质大学(武汉)地球物理与空间信息学院武汉430074 湖北珞珈实验室武汉430079 武汉大学测绘遥感信息工程国家重点实验室武汉430079 武汉大学资源与环境科学学院武汉430079 武汉大学计算机学院武汉430072

自训练方法被广泛应用于高光谱影像分类任务中以解决标记样本获取困难的问题。传统的自训练方法不仅忽略了高光谱影像所能提供的空间信息,导致最终分类精度受到影响;同时在每次迭代过程中都需要完成一次对未标记数据的分类任务,导致需... 详细信息

自训练方法被广泛应用于高光谱影像分类任务中以解决标记样本获取困难的问题。传统的自训练方法不仅忽略了高光谱影像所能提供的空间信息,导致最终分类精度受到影响;同时在每次迭代过程中都需要完成一次对未标记数据的分类任务,导致需要大量的时间成本。因此,针对上述问题,本文提出了一种基于空间—光谱信息的快速自训练方法用于高光谱影像分类。与传统的自训练方法不同,该方法在迭代过程中使用空间—光谱信息对未标记数据进行筛选完成标记样本的扩充,而不是使用分类器对未标记样本进行分类。首先针对初始标记样本使用空间邻域块选择空间近邻点,然后使用自适应阈值对空间近邻点进行二次筛选得到空谱近邻点赋予标记,最后根据扩充后的标记样本对分类器进行训练完成分类任务。结果表明,在Washington DC Mall Subimage高光谱数据集中每类分别选择2个和10个训练样本时,整体分类精度分别达到了93.17%和95.43%;而在Indian Pines数据集中整体分类精度分别达到了59.75%和86.13%。我们提出的结合空间—光谱信息的快速自训练方法和对比方法相比,我们的方法有明显的提升。

关键词：高光谱遥感半监督分类小样本问题空间—光谱信息自训练方法

基于数据选择和局部伪标注的跨领域语义依存分析研究

在线全文

学校读者我要写书评

暂无评论

中文信息学报 2023年第6期37卷 15-24页

作者：毛达展喻快邵艳秋北京语言大学信息科学学院国家语言资源监测与研究平面媒体中心北京100083

语义依存分析要走向实用,模型从单领域迁移到其他领域的领域适应能力至关重要。近年来,对抗学习针对领域适应任务取得了较好的效果,但对目标领域的无标注数据利用率并不高。该文使用自训练方法用来提高无标注数据的利用效率,弥补对抗学... 详细信息

语义依存分析要走向实用,模型从单领域迁移到其他领域的领域适应能力至关重要。近年来,对抗学习针对领域适应任务取得了较好的效果,但对目标领域的无标注数据利用率并不高。该文使用自训练方法用来提高无标注数据的利用效率,弥补对抗学习方法的不足。但传统的自训练方法效率和性能并不好,为此该文针对跨领域语义依存分析任务,尝试强化学习数据选择器,提出了局部伪标注的标注策略,实验结果证明,该文所提出的模型优于基线模型。

关键词：语义依存分析领域适应自训练方法

在线全文

学校读者我要写书评

暂无评论

基于加权K最近邻改进朴素贝叶斯自训练算法

武汉大学学报（理学版） 2019年第5期65卷 465-471页

作者：李婷婷吕佳重庆师范大学计算机与信息科学学院重庆401331 重庆师范大学重庆市数字农业服务工程技术研究中心重庆401331

针对传统半监督自训练方法在学习朴素贝叶斯分类器过程中容易误标记无标记样本,且整个过程未能利用到训练样本的空间结构信息,导致正确率不高的问题,提出了一种基于加权K最近邻改进朴素贝叶斯自训练算法。该算法利用加权K最近邻算法计... 详细信息

针对传统半监督自训练方法在学习朴素贝叶斯分类器过程中容易误标记无标记样本,且整个过程未能利用到训练样本的空间结构信息,导致正确率不高的问题,提出了一种基于加权K最近邻改进朴素贝叶斯自训练算法。该算法利用加权K最近邻算法计算出无标记样本的隶属度,通过隶属度选出与已标记样本空间结构相近的样本,使得朴素贝叶斯分类器在一个较好的空间结构上对未标记样本进行分类,充分地利用样本的空间结构信息,从而降低了自训练过程中的迭代错误。在UCI和Kaggle数据集上的对比实验结果表明,该方法的性能相对于传统半监督自训练算法有所改善。

关键词：半监督学习自训练方法朴素贝叶斯加权K最近邻置信度

基于深度学习和无监督域适应的跨用户行为识别研究

在线全文

学校读者我要写书评

暂无评论

基于深度学习和无监督域适应的跨用户行为识别研究

作者：谢澈澈华南理工大学

学位级别：硕士

人体行为识别是近年来备受关注的研究方向,可以广泛地应用于智能护理、智能家居和人机交互等领域。由于可穿戴传感器具有低成本、便携性和保护隐私的特点,已受到广泛的研究和应用。对于可穿戴传感器的行为识别,现有的模型通常存在普适... 详细信息

人体行为识别是近年来备受关注的研究方向,可以广泛地应用于智能护理、智能家居和人机交互等领域。由于可穿戴传感器具有低成本、便携性和保护隐私的特点,已受到广泛的研究和应用。对于可穿戴传感器的行为识别,现有的模型通常存在普适性差的问题,因其所采用的训练集中的用户与目标用户通常存在行为差异,导致模型难以适用于不同用户。而针对目标用户收集大量标记数据去重新训练模型也不现实。针对行为识别的用户个性化问题,本文结合深度学习和无监督域适应方法,提出并实现了一个基于无监督深度域适应的跨用户行为识别模型CUAS,并在六个数据集上进行多个对比实验验证本文方法的有效性。本文的主要工作包括:(1)基于深度神经网络的特征提取方法。为了更有效地提取传感器数据的时序特征,本文提出一个基于属性时序卷积和分段LSTM的深度学习模型(ATC-SLSTM),将时序样本分成多个局部片段,采用LSTM提取片段之间的时间依赖关系。对于每个局部片段,本文提出基于属性时序卷积的特征提取方法,采用多层小卷积叠加来对每个属性提取多种粒度的时序特征,并提出一种属性特征缩放机制来实现各个数据属性的动态加权,以强调不同属性的重要程度。(2)基于特征分布对齐的无监督域适应方法。针对目标用户与训练数据集中的用户的行为差异问题,本文将两者的行为数据通过ATC-SLSTM映射到同一特征空间,而后同时进行边缘分布对齐和类条件分布对齐。为提高对齐效果,本文提出基于方差和均值差异的分布距离度量方法用于边缘分布对齐,在此基础上提出增加方差约束和类别权重的改进方法,以提高类条件分布的类内对齐效果并更关注易被错分的类别。(3)针对跨用户行为识别模型CUAS的自训练方法。由于目标用户伪标签是类条件分布对齐的关键,直接影响模型效果。在本文提出的自训练方法中,首先采用最小熵来选择当前最优模型进入下一轮训练;而后使用该模型来预测伪标签,提出基于蒙特卡罗随机失活的伪标签预测置信度评估方法,选取具有高质量伪标签的样本迭代训练模型,并同时考虑类别平衡问题。实验表明,与其他四个方法相比,采用自训练方法优化的CUAS模型取得最好的跨用户行为识别效果。

关键词：人体行为识别无监督域适应深度神经网络自训练方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

半监督PU学习中可靠负例提取的研究

半监督PU学习中可靠负例提取的研究

作者：李婷婷重庆师范大学

学位级别：硕士

半监督学习是指利用大量“廉价”的未标记样本来辅助少量“代价高昂”的有标记样本学习的过程。正例无标记(Positive and Unlabeled,PU)学习是半监督学习中一类特殊的分支,传统半监督学习做二分类任务的训练样本中,标记样本包括正样本... 详细信息

半监督学习是指利用大量“廉价”的未标记样本来辅助少量“代价高昂”的有标记样本学习的过程。正例无标记(Positive and Unlabeled,PU)学习是半监督学习中一类特殊的分支,传统半监督学习做二分类任务的训练样本中,标记样本包括正样本和负样本,而PU学习在训练分类器的过程中仅使用已标记正例样本和未标记样本。由于PU学习的初始训练集中没有已标记的负例样本,所以在学习过程中首先需要构造一个分类器找出隐藏在无标记样本集中的可靠负例,再将可靠负例加入初始标记样本集,进而构造新的分类器对无标记样本集进行分类。然而,在PU学习中通过构造分类器选取可靠负例时还存在许多问题。例如:如何在初始正例过少的情况下,有效地挖掘整个数据集空间结构,进而选出可靠负例;如何避免噪声点和离群点对有效提取可靠负例的影响;结合间谍技术进行选取可靠负例的过程中,如何解决随机选择间谍样本机制造成划分可靠负例时效率低下的问题;从无标记样本集中提取可靠负例后,如何保证剩余样本的纯净度问题。本文针对PU学习中提取可靠负例时难以有效地挖掘数据集空间结构且易受噪声点影响等问题进行研究,研究工作主要包括以下内容:(1)提出一种基于数据模糊性来选取无标记样本中可靠负例的PU学习方法。该方法首先对正例无标记样本集进行半监督聚类,通过聚类结果对数据模糊性进行等级划分,选出靠近正例样本的低模糊度数据来扩充初始正例集,而远离正例样本的低模糊度数据则作为可靠负例;然后剪辑掉无标记样本中高模糊度数据;最后在扩充后的标记样本集上训练分类器,对初始无标记样本集进行分类。(2)提出了一种结合间谍技术与半监督自训练的PU学习方法,该方法通过间谍技术从无标记样本中提取可靠负例,然后将剩余样本看做新的无标记样本,并对新的无标记样本进行自训练提纯,采用二次训练的方式取回被漏选的可靠负例。(3)在结合间谍技术与半监督自训练的PU学习的基础上改进间谍技术,通过挖掘出初始正例样本的空间分布信息,把握样本空间结构后计算正例样本的聚类中心,并找出距离聚类中心较近的样本作为间谍样本。重新定义后的间谍样本在空间结构上离聚类中心更近,所包含正例样本的真实信息量也更大,当这样的样本被选作间谍样本时,更能有效地体现无标记样本中未知正例的分布情况。

关键词： PU学习可靠负例数据模糊性间谍技术自训练方法