检索结果-南通市图书馆

检索条件"主题词=任务增强"

共 3 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于先验知识和任务增强的小样本算法研究

基于先验知识和任务增强的小样本算法研究

引用

作者：高怡华东师范大学

学位级别：硕士

当今机器学习领域的大多数研究都侧重于大规模数据集上的训练,但是在真实场景中数据量往往比较少,传统的深度学习模型泛化能力不足,与人类仍有较大差距。如何在样本数比较少的情况下来进行学习是目前比较关注的问题,小样本学习应运而生... 详细信息

当今机器学习领域的大多数研究都侧重于大规模数据集上的训练,但是在真实场景中数据量往往比较少,传统的深度学习模型泛化能力不足,与人类仍有较大差距。如何在样本数比较少的情况下来进行学习是目前比较关注的问题,小样本学习应运而生。主流的小样本学习方法可以归纳为三类:基于迁移学习、基于数据增强和基于元学习。迁移学习是将源领域的知识迁移到目标领域,但是它的性能取决于源领域和目标领域的相关性,且并没有很好地解决小样本学习泛化能力差的问题。基于数据增强的方法通过扩充数据来解决小样本问题,但是在极端小样本的情况下增益有限。基于元学习的方法在多个小样本任务上表现出相对优秀的性能,目前对小样本任务的探索主要集中在元学习领域。本文在元学习的基础上进一步探索小样本学习的方法。相较于传统深度学习,基于元学习的方法在多个小样本任务上表现出不错的效果,但是样本极端少的情况下(单个类别小于50条)模型性能仍差强人意。而且由于标注数据量比较少,模型对于数据比较敏感,容易过拟合于少量数据,存在鲁棒性和稳定性较差等问题。为了能够有效提高模型性能,缓解模型由于数据量比较少而存在的鲁棒性和稳定性较差的问题。本文提出利用额外数据和先验知识帮助模型进一步优化提高模型性能。本文对此做了三个方面的探索:1.首先本文通过给模型注入额外的先验知识来提高小样本事件检测算法的性能。本文在原型网络基础上提出了基于标签增强和对比学习的小样本事件检测模型,通过构造模板引入标签的外部知识来改进样本表示,缩小同类样本之间的距离,之后利用对比学习拉远不同样本之间的距离,大大提高了小样本事件检测任务的性能,同时模型的鲁棒性和稳定性也有明显提高。2.其次,本文通过设计前缀生成网络来挖掘任务知识先验从而提高小样本事件检测任务的性能和有效性。本文通过冻结预训练模型的参数转而微调前缀生成网络的参数,为单个任务生成预训练模型每一层对应的前缀信息,利用前缀来挖掘知识改善样本表示从而提高模型性能。实验证明,前缀生成网络确实可以有效挖掘数据内部知识进而帮助优化样本表示,提高模型性能,于此同时模型参数有效性也有明显提高,大大节省了模型训练所需要的计算资源。3.最后,本文设计任务选择和任务增强来提高小样本图像识别任务的性能。本文在训练阶段设计针对任务的混合(Mixup)增强来构造大量新任务辅助模型训练。之后通过任务的梯度信息和样本信息来探索训练任务和测试任务之间的关联,选择和测试任务相关度更高的训练任务来进行任务增强进一步提高模型性能。

关键词：小样本算法元学习原型网络知识增强任务增强

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向司法裁判文书的犯罪金额智能提取技术研究

面向司法裁判文书的犯罪金额智能提取技术研究

引用

作者：李菲东华大学

学位级别：硕士

司法领域包含大量法律条文、裁判文书等文本信息,将自然语言处理技术应用于司法领域,赋能智慧司法,是人工智能时代司法领域发展的重要方向。面向司法裁判文书的犯罪金额提取任务,旨在通过自然语言处理技术,自动计算出裁判文书中涉案金额... 详细信息

司法领域包含大量法律条文、裁判文书等文本信息,将自然语言处理技术应用于司法领域,赋能智慧司法,是人工智能时代司法领域发展的重要方向。面向司法裁判文书的犯罪金额提取任务,旨在通过自然语言处理技术,自动计算出裁判文书中涉案金额,这不仅能够助力司法文书信息抽取,还可以辅助司法判决预测。论文对面向司法裁判文书的犯罪金额智能提取技术进行了研究。通过对大量涉及犯罪金额的司法裁判文书数据集的分析,总结出金额操作符分类规律与最终金额的计算规则,提出了基于规则的犯罪金额提取方法。论文基于规则标注与人工校对的方法,构建了金额分类数据集。在此基础上,论文使用机器学习的方法对操作符进行预测,研究了基于预训练语言模型的犯罪金额提取方法。为了充分利用大规模未进行操作符标注数据中蕴含的领域知识,论文创造性地引入任务增强技术,研究了结合任务增强的犯罪金额提取方法。该方法通过设计一个辅助任务文本生成器,获取大量领域内辅助任务数据,并在进行辅助任务的同时对BERT模型进行微调,最终获取到针对课题任务的领域内BERT模型。论文进一步对损失函数进行优化,将对最终金额预测的损失加入到损失函数中,进行反向传播,使得模型能够在学习金额操作符标签特征的过程中也可以与最终犯罪金额的特征相结合,从而缓解在模型预测过程中金额操作符标签与最终犯罪金额的准确率变化不一致的问题。论文使用“中国法研杯司法人工智能挑战赛(LAIC2021)”中发布的“犯罪金额要素提取”数据集进行对比实验,实验结果证明了课题研究工作的有效性。论文设计并实现了一个司法裁判文书犯罪金额提取系统,演示了犯罪金额提取的过程和结果。具体来说,论文的研究工作包含以下几个方面。(1)提出基于规则的犯罪金额提取方法。论文对大量司法裁判文书的内容及任务进行了分析,给出了任务的形式化定义和基于规则的解决方案。该方案将犯罪金额智能提取任务分解成犯罪金额抽取与操作符分类任务,即首先从文本中识别出所有金额,并为每个金额分配一个操作符,然后通过自定义的推理规则,完成最终金额的计算。依据裁判文书内中文金额的特点,本文使用启发式规则的方法进行金额识别,并达到了99.6%的准确率。该方法采用基于规则的操作符关键词匹配方法,实现简单有效的操作符分类。本文基于规则标注和人工校对的方法,构建了金额分类数据集。(2)针对基于规则的金额操作符分类方法泛化能力弱的问题,提出了基于预训练语言模型的犯罪金额提取方法。该方法使用预训练语言模型为裁判文书中的文本生成动态语义表示向量,并采用softmax分类器判断每个已知金额的操作符,将当前成熟的文本分类技术应用于金额操作符分类。(3)为了更充分地利用未标注数据集,论文提出了结合任务增强的犯罪金额提取方法。以自然语言推理为辅助任务的任务增强技术,将大规模司法领域知识整合到通用语料中训练,获取专用于司法领域的预训练语言模型,使其能够感知领域内词汇语义并具备自然语言推理能力。该方法能够充分利用大规模的领域数据,缓解低资源任务带来的问题,提高了犯罪金额提取的准确率。(4)为了缓解上述模型在训练过程中金额操作符分类准确率与犯罪金额预测准确率变化趋势不一致的问题,论文研究了结合犯罪金额与操作符标签的金额提取方法。在上述模型采用的操作符分类损失函数的基础上,加权考虑了犯罪金额预测损失函数,使模型在训练过程中不仅可以学习到每一个金额的特征,也可以考虑到最终金额的损失,进一步提升了犯罪金额提取的准确率。(5)基于论文所提出的相关技术,设计并实现了司法裁判文书犯罪金额提取系统。该系统演示了司法裁判文书犯罪金额提取任务的过程,通过实例,展示了所提取出金额的操作符标注结果,证明了模型的可解释性,在实践中检验了论文提出方法的实用性。

关键词：司法裁判文书犯罪金额提取预训练语言模型任务增强

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于元学习的少样本MRI医疗影像分类算法研究

基于元学习的少样本MRI医疗影像分类算法研究

引用

作者：周云磊北京邮电大学

学位级别：硕士

针对阿尔茨海默症(Alzheimer's Disease,AD)与HIV相关神经认知功能障碍综合征(HIV-Associated Neurocognitive Disorders,HAND)等神经退行性脑疾病,在疾病早期阶段进行精准诊断和针对性治疗有可能延缓或者逆转疾病的病理进程,对患者的... 详细信息

针对阿尔茨海默症(Alzheimer's Disease,AD)与HIV相关神经认知功能障碍综合征(HIV-Associated Neurocognitive Disorders,HAND)等神经退行性脑疾病,在疾病早期阶段进行精准诊断和针对性治疗有可能延缓或者逆转疾病的病理进程,对患者的早期治疗及提升生存质量都具备重要的临床价值和科学意义。现阶段对AD或者HAND患者所处阶段的诊断方法依旧采用的是基于心理、语言等神经量表法,由于该类神经进行性大脑疾病没有明确的脑部病灶特征与确定的诊断依据,所以急需一种客观的诊断方法。目前基于传统的深度卷积神经网络在医疗影像分类领域取得了一些成果,但是关于HAND患者的脑部疾病影像,如MRI、CT等,由于医护人员不足及影像标记成本高,样本数量无法支撑传统深度学习方法训练出分类性能良好的辅助诊断模型,关于HAND的阶段分类问题属于典型的少样本医疗影像分类问题。综上所述,本文主要针对首都医科大学附属北京佑安医院提供的HAND数据集的ANI/NC二分类问题,开展了关于少样本MRI医疗影像分类领域的研究,设计了一个HAND患者早期阶段(ANI)/未患病受试者(NC)的脑部MRI医疗影像的二分类模型。本文主要工作及创新点之一:针对HAND患者样本数据不足问题,提出了一种基于元学习方法的少样本MRI医疗影像分类模型,首先基于阿尔兹海默症公开数据集ADNI-1中的4种不同阶段MRI脑影像(AD,LMCI,EMCI,NC)构建一系列二分类任务,以任务空间的形式将影像输入到TAML分类模型中,元训练完毕之后将模型所具备的二分类能力泛化到目标任务ANI/NC分类上,以此来减少分类模型对真实临床样本数量的依赖。但是在传统的元学习方法中,每个元训练任务在构建时是随机选取样本的,样本选取简单会导致任务复杂度降低即简单任务,而简单任务会对模型强度即泛化性能产生负面影响,导致模型陷入一个效果一般的局部最优解。针对这个问题,本文提出了一种基于任务增强的元学习分类模型(Task-Augmentation Meta-Learning,TAML),在元训练的每个meta-batch的所有训练任务中,会根据当前任务样本计算出每个类的分类准确率,实时构建新的增强任务,对模型基础学习器的参数进行二次更新,通过实时创建的增强任务在每次迭代过程中对模型参数给予充分优化,弥补简单样本对模型强度的负面影响。根据实验结果表明,TAML在目标分类任务只有少样本的情况下其分类性能优于传统的卷积神经网络分类模型(3DCNN)、迁移学习方法、其他元学习方法(MAML)和度量学习方法。本文主要工作及创新点之二:针对元学习模型从ADNI-1公开数据集(源域)泛化到HAND目标数据集(目标域)存在的域偏移问题,本文基于元训练影像设计了任务空间扩展(Task-Space Expansion,TSE)模块,通过模拟增加源域数据集影像种类的方式扩大元训练任务的分布边界,使模型可以学习更多不同二分类任务的分类过程,提升模型的域泛化能力。同时在HAND目标分类阶段,针对基于单一模态影像进行训练存在影像特征提取不充分问题,本文基于sMRI和rs-fMRI两种模态影像设计了多模态特征融合模块,使模型充分学习两种影像的特征信息。最终实验表明,通过添加任务空间扩展与多模态融合模块,相较于之前提出的分类模型,基于元学习与多模态的HAND分类模型达到了最佳的分类性能。

关键词：元学习任务增强小样本学习多模态融合

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：