咨询与建议

看过本文的还看了

相关文献

该作者的其他文献

文献详情 >基于语言学理论和掩码语言模型的隐喻释义研究 收藏
基于语言学理论和掩码语言模型的隐喻释义研究

基于语言学理论和掩码语言模型的隐喻释义研究

作     者:陈伟杰 

作者单位:厦门大学 

学位级别:硕士

导师姓名:苏畅

授予年度:2022年

学科分类:081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术(可授工学、理学学位)] 

主      题:隐喻释义 掩码语言模型 合作网 语言学理论 

摘      要:隐喻触及人类理解机制的核心,是认知科学中的重要课题。隐喻释义任务是自然语言处理任务中重要且富有挑战性的一环,旨在帮助机器更好的理解隐喻、挖掘隐喻背后蕴含的本来意义。本文关注隐喻释义领域的三个子任务:1.英文隐喻释义识别,该任务给定一对隐喻句和释义句,要求模型判别二者的合适度;2.英文隐喻释义,该任务给定源域和目标域,要求模型生成合适的释义;3.考虑上下文的中文隐喻释义,该任务要求模型生成满足语境的释义。三个任务对模型的隐喻处理能力的要求依次递增。对于英文隐喻释义识别任务,我们的改进如下:***的各向异性导致句向量的质量较差,我们对无监督simCSE模型进行领域内的微调,以得到较高质量的句向量;***导致分类任务的训练与推理存在差异,我们对分类概率使用了对比学习以稳定分类性能;3.语言学理论表明,隐喻释义过程中往往存在情感强度的变化,对此我们引入情感强度的特征辅助模型计算。针对英文隐喻释义任务,我们就以下问题提出了对应的解决方法:1.掩码语言模型倾向于预测高频词,我们提出了一种训练方法,能有效纠正这种倾向并提高词级别预测的多样性;2.单个模板只能挖掘有限的知识,我们根据语言学理论设计了多类不同模板,并引入了模板集成方法;3.人工设计的模板可能导致次优的结果,对此我们在模板全集上进行了搜索,得到了最优的模板组合方式。最后,对于给定上下文的中文隐喻释义任务,我们提出了基于掩码语言模型的合作网模型,主要的创新有:1.基于合作机制理论和互动论,提出域间合作强度的建模方法,其中包括展示意愿和接受意愿的建模;2.提出了基于掩码语言模型的上下文合作强度计算方法;3.提出了多语言掩码语言模型集成的属性提取方法,对现有的属性库进行了扩展。总的来说,我们从语言学理论、掩码语言模型的知识探测方法出发,针对不同隐喻释义任务的自身特点和模型存在的问题,提出了对应的改进方法,并通过自动以及人工指标实验验证我们方法的有效性。

读者评论 与其他读者分享你的观点

用户名:未登录
我的评分