检索结果-南通市图书馆

计算机应用 2023年第S2期43卷 1-8页

作者：徐月梅胡玲赵佳艺杜宛泽王文清北京外国语大学信息科学技术学院北京100089 北京大学软件与微电子学院北京100053

针对大语言模型(LLM)在高资源语言上表现优异而在低资源语言上表现欠佳的现状,深入分析LLM在多语言场景下的研究现状、技术与局限。首先,从2018年至今以Multi-BERT(multi-lingual Bidirectional Encoder Representations from Transform... 详细信息

针对大语言模型(LLM)在高资源语言上表现优异而在低资源语言上表现欠佳的现状,深入分析LLM在多语言场景下的研究现状、技术与局限。首先,从2018年至今以Multi-BERT(multi-lingual Bidirectional Encoder Representations from Transformers)、GPT(Generative Pre-trained Transformer)和ChatGPT(Chat Generative Pre-trained Transformer)等语言模型为代表,综述LLM的发展脉络;然后,具体分析了大语言模型在多语言智能上的探索,总结现有LLM在多语言智能的研究局限及其改进方向;最后,探讨LLM未来的多语言智能应用场景。分析指出现有LLM受限于多语言训练语料不均衡,存在语言文化的伦理偏见、语言模型的风格趋同化、多语言能力评估基准缺乏以及多语言场景下的模型幻象输出等问题,未来可采用同一语系家族语言的联合训练、多语言适配器技术、跨语言迁移学习技术、提示语工程技术、基于人工智能反馈的强化学习技术等策略实现多语言智能的LLM。

关键词：大语言模型多语言智能跨语言模型通用人工智能迁移学习

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于多语BERT的无监督攻击性言论检测

引用

计算机应用 2022年第11期42卷 3379-3385页

作者：师夏阳张风远袁嘉琪黄敏郑州轻工业大学软件学院郑州450001 郑州轻工业大学数学与信息科学学院郑州450001

攻击性言论会对社会安定造成严重不良影响,但目前攻击性言论自动检测主要集中在少数几种高资源语言,对低资源语言缺少足够的攻击性言论标注语料导致检测困难,为此,提出一种跨语言无监督攻击性迁移检测方法。首先,使用多语BERT(mBERT)模... 详细信息

攻击性言论会对社会安定造成严重不良影响,但目前攻击性言论自动检测主要集中在少数几种高资源语言,对低资源语言缺少足够的攻击性言论标注语料导致检测困难,为此,提出一种跨语言无监督攻击性迁移检测方法。首先,使用多语BERT(mBERT)模型在高资源英语数据集上进行对攻击性特征的学习,得到一个原模型;然后,通过分析英语与丹麦语、阿拉伯语、土耳其语、希腊语的语言相似程度,将原模型迁移到这四种低资源语言上,实现对低资源语言的攻击性言论自动检测。实验结果显示,与BERT、线性回归(LR)、支持向量机(SVM)、多层感知机(MLP)这四种方法相比,所提方法在丹麦语、阿拉伯语、土耳其语、希腊语这四种语言上的攻击性言论检测的准确率和F1值均提高了近2个百分点,接近目前的有监督检测,可见采用跨语言模型迁移学习和迁移检测相结合的方法能够实现对低资源语言的无监督攻击性检测。

关键词：跨语言模型攻击性言论检测 BERT 无监督方法迁移学习

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于XLM-R的多语言网络评论情感分类研究

基于XLM-R的多语言网络评论情感分类研究

引用

作者：石泽北京交通大学

学位级别：硕士

移动互联网技术的不断发展以及网络应用软件的普及,使得人们已经习惯在社交媒体,技术博客等各种新兴网络平台上发表自身的观点和看法。大家各抒己见促进了社会的进步。但随之而来也有很多问题,比如网络暴力,性别歧视等,这些问题给人们... 详细信息

移动互联网技术的不断发展以及网络应用软件的普及,使得人们已经习惯在社交媒体,技术博客等各种新兴网络平台上发表自身的观点和看法。大家各抒己见促进了社会的进步。但随之而来也有很多问题,比如网络暴力,性别歧视等,这些问题给人们的生活带来了不可忽视的影响。因此,对网络中带有恶意的评论进行识别是很有意义的工作。但随着全球化进程的不断加快以及全球网民数量的不断增加,互联网当中的语言开始变得多种多样,有些软件中还包括多种语言。如果对于互联网中的每一种语言都建立相应的模型进行评论识别,显然不论从语料的搜集上,还是从模型的创建和应用上都有一定的困难。所以,使用跨语言模型对多语言网络评论进行识别是很有必要的。本文研究多语言网络评论分类问题,主要工作包括改进跨语言模型中提取文本特征的方法以及评估不同文本分类算法的分类效果,具体而言包括如下几点:1.本文对近年来四种较有代表性的跨语言模型进行理论方面的阐述,并对四种模型的分类效果做出对比实验。四种模型分别为m BERT、XLM、Unicoder、XLM-R。在理论叙述的基础上,本文又对四种模型进行了实验分析。实验结果表明,XLM-R模型的准确率及AUC值最高。因此后续研究以XLM-R模型作为主体。2.针对XLM-R模型如何获取更多文本特征的问题,本文提出对其网络结构进行改造的方法。具体是将XLM-R模型的第10、11、12层（后三层）进行拼接,构造出XLM-R-3模型。实验结果表明,XLM-R-3模型的准确率和AUC值高于初始模型及其它拼接模型。之后将XLM-R-3模型作为词嵌入层,与不同的传统分类算法相结合。实验结果表明,XLM-R-3与支持向量机结合时准确率及AUC值最高。3.本文使用深度学习分类算法对特征进行进一步提取。文中以XLM-R-3模型作为输入层,分别结合卷积神经网络和循环神经网络及其变体。最终提出XLM-R-3-BGA模型。该模型使用XLM-R-3与双向GRU网络进行结合,以双向GRU作为主体网络,提取文本的上下文特征,最后使用注意力机制,将重点词语重点突出,从而进行评论分析。实验结果表明,本文提出的XLM-R-3-BGA模型的准确率和AUC值高于初始模型及其他结合模型。4.跨语言模型与单语言模型的分类效果对比。本文使用谷歌翻译将英文翻译为西班牙文与意大利文。之后使用跨语言模型分别与西班牙文,意大利文的BERT模型进行对比。实验结果表明,跨语言模型的准确率和AUC值高于单语言模型。

关键词：情感分类跨语言模型 XLM-R 分类算法

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：