检索结果-南通市图书馆

Ko⁃LLaMA:基于LLaMA的朝鲜语大语言模型

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

外语学刊 2025年第1期 1-8页

作者：庞杰闫晓东赵小兵中央民族大学北京100081 国家语言资源监测与研究民族语言中心北京100081 民族语言智能与安全治理教育部重点实验室北京100081

在本文中,我们通过扩展LLaMA现有的词表,增加额外的20,000个朝鲜语Token,从而提高其对朝鲜语的编码和语义理解的能力;并且进一步使用朝鲜语数据进行继续预训练,使用朝鲜语指令微调数据集对模型进行SFT(Supervised Fine⁃Tuning),并分析... 详细信息

在本文中,我们通过扩展LLaMA现有的词表,增加额外的20,000个朝鲜语Token,从而提高其对朝鲜语的编码和语义理解的能力;并且进一步使用朝鲜语数据进行继续预训练,使用朝鲜语指令微调数据集对模型进行SFT(Supervised Fine⁃Tuning),并分析不同数据量对指令精调效果的影响,经过继续预训练和指令微调后的模型显著提高了理解和遵循朝鲜语指令的能力。实验结果表明,新提出的模型Ko⁃LLaMA显著提高了原版LLaMA在理解和生成朝鲜语内容方面的能力。此外,在朝鲜语文本分类数据集YNAT上对Ko⁃LLaMA与擅长少数民族语言的CINO模型及CINO的多种模型组合以及原版LLaMA和GPT⁃3.5进行了效果对比。结果表明,Ko⁃LLaMA的朝鲜语文本分类能力远超CINO和CINO的组合模型以及LLaMA和GPT⁃3.5等未经过朝鲜语语料进行词表扩充和继续预训练的大语言模型。

关键词：朝鲜语大语言模型词表扩充继续预训练指令微调

在线全文

学校读者我要写书评

暂无评论

融合样本关系优化和重排序的换衣行人重识别

智能系统学报 2025年第1期20卷 101-108页

作者：丁钰毕晓君哈尔滨工程大学信息与通信工程学院黑龙江哈尔滨150001 民族语言智能分析与安全治理教育部重点实验室北京100081 中央民族大学信息工程学院北京100081

针对换衣行人重识别模型存在局部特征提取能力有限、样本关系优化不足的问题,提出一种融合样本关系优化和重排序的换衣行人重识别模型。首先,设计具有短路连接结构的Transformer模型,将网络的初始特征与深层特征进行融合,来优化每一个... 详细信息

针对换衣行人重识别模型存在局部特征提取能力有限、样本关系优化不足的问题,提出一种融合样本关系优化和重排序的换衣行人重识别模型。首先,设计具有短路连接结构的Transformer模型,将网络的初始特征与深层特征进行融合,来优化每一个样本的特征表示;其次,引入圆损失对优化难度不同的样本赋予不同的权重,更好地优化不同样本之间的关系;最后,设计k′-互近邻重排序策略,对样本间相似性排名进行重新排序,来进一步提高重识别的准确率。在公开的换衣数据集上进行对比实验,结果表明本文提出的模型相比其他先进模型取得了更好的重识别效果。

关键词：深度学习换衣行人重识别局部特征提取样本关系优化 Transformer 短路连接圆损失重排序

在线全文

学校读者我要写书评

暂无评论

基于提示学习的生成式文本摘要研究

东北师大学报(自然科学版) 2025年第01期 63-73页

作者：蒲秋梅叶芬李辅德韦洁瑶赵丽娜中央民族大学民族语言智能分析与安全治理教育部重点实验室中央民族大学信息工程学院中国科学院高能物理研究所多学科研究中心

针对现有生成式自动摘要方法常常依赖模型预先设定的规则或训练过程中的数据和方法的限制，未能完全发挥预训练模型对原文语义的学习潜力，导致生成的内容在连贯性和一致性等方面存在一定的不足问题，本文以大语言模型ChatGLM3-6b为基... 详细信息

针对现有生成式自动摘要方法常常依赖模型预先设定的规则或训练过程中的数据和方法的限制，未能完全发挥预训练模型对原文语义的学习潜力，导致生成的内容在连贯性和一致性等方面存在一定的不足问题，本文以大语言模型ChatGLM3-6b为基础，借助P-Tuning v2微调技术，将大模型的下游任务调整为文本摘要生成任务.这一方法的关键在于向数据集中添加提示信息，并设计了一套人工提示模板，协助模型在微调训练时能够更好地理解并生成摘要.实验结果表明，通过合理设计提示模板，本文模型在公开数据集上的ROUGE-1、ROUGE-2和ROUGE-L比最优的基线模型提升了2%～4%.此外，通过对相同实验数据集上的不同实验指标进行比较分析，发现针对不同长度的文本，采用不同的微调方法更为有效.P-tuning v2微调更适用于处理长文本的摘要生成任务，而LoRA微调则更适用于处理短文本.综上所述，加入提示词后生成的摘要效果明显改善，进一步证实了提示学习在文本摘要生成任务中的有效性和实用性.

关键词：提示学习文本摘要大语言模型 ChatGLM

基于BERT-BiLSTM模型的虚假新闻检测

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

中国电子科学研究院学报 2025年第1期20卷 33-40页

作者：张敏超蒲秋梅黄方俐民族语言智能分析与安全治理教育部重点实验室北京100081 中央民族大学信息工程学院北京100081

随着互联网的快速发展,虚假新闻的传播成为全球性问题,严重影响社会稳定和信息安全,因此,如何有效识别虚假新闻已成为自然语言处理领域的研究重点之一。文中提出了一种基于BERT的虚假新闻检测模型。该模型首先通过对预训练的BERT模型进... 详细信息

随着互联网的快速发展,虚假新闻的传播成为全球性问题,严重影响社会稳定和信息安全,因此,如何有效识别虚假新闻已成为自然语言处理领域的研究重点之一。文中提出了一种基于BERT的虚假新闻检测模型。该模型首先通过对预训练的BERT模型进行微调,以获取新闻文本的深层语义表示;然后,在其顶部分别添加BiLSTM层和卷积神经网络(Convolutional Neural Networks,CNN)层,以捕捉文本的长程依赖关系和局部上下文特征;最后,通过Softmax层实现虚假新闻的分类。实验在新闻文本数据集上进行,结果显示,BERT-BiLSTM模型在英文数据集上的准确率达到96.14%,在中文数据集上的准确率达到97.32%。相比其他模型,BERT-BiLSTM在虚假新闻检测中表现更为优异,具有良好的实际应用价值,对维护网络信息安全具有重要意义。

关键词： BERT模型 BiLSTM模型虚假新闻检测深度学习

在线全文

学校读者我要写书评

暂无评论

多特征融合的敦煌古籍残片自动缀合

中国图象图形学报 2023年第8期28卷 2330-2342页

作者：郑玉彤李雪龙殷梓轩高歌翁彧中央民族大学民族语言智能分析与安全治理教育部重点实验室北京100081

目的敦煌遗书作为敦煌学研究的根基,是华夏多元民族弥足珍贵的文化遗产。现存的敦煌遗书大多为残片残卷,给整理和研究带来了极大的困难。而人工缀残可谓至难,费时费力,对研究者的要求极高。随着计算机技术和计算机图形学的发展,残片拼... 详细信息

目的敦煌遗书作为敦煌学研究的根基,是华夏多元民族弥足珍贵的文化遗产。现存的敦煌遗书大多为残片残卷,给整理和研究带来了极大的困难。而人工缀残可谓至难,费时费力,对研究者的要求极高。随着计算机技术和计算机图形学的发展,残片拼接技术也开始进入数字化时代。为此,本文提出基于分层模型的数字图像缀合方法。方法构建了一个古籍残片数据集。在流程设计上借鉴专家缀合的实践经验,融入专家知识,对碎片数字图像进行预处理。在碴口特征匹配的基础上,融合多种缀合线索,建立了包含物理层、结构层和语义层3层特征的分层模型,从低层次到高层次对匹配结果进行评估打分,完成两阶段的全自动缀合。结果为了验证提出方法的有效性,在由31张可拼接碎片(11组)和225张孤片组成的256张碎片数据集上进行实验。结果表明,本文方法能够完成其中8组碎片的完整缀合,2组不完整缀合,并找出218张孤片。通过计算,完整匹配准确率为95.76%,不完整匹配准确率为95.70%,缀合准确率都达到了95%。与现有类似任务的3种方法相比,准确率均有明显提升。结论本文提出的分层模型融合了多方面特征,能有效完成古籍残片缀合任务,提升研究人员的缀残效率。

关键词：古籍残片敦煌遗书自动缀合碴口特征分层模型

在线全文

学校读者我要写书评

暂无评论

麻将博弈AI构建方法综述

智能系统学报 2023年第6期18卷 1143-1155页

作者：李霞丽王昭琦刘博吴立成中央民族大学信息工程学院北京100081 中央民族大学民族语言智能分析与安全治理教育部重点实验室北京100081

麻将及其不同变体的规则复杂,构建高水平的麻将博弈AI(artificial intelligence)算法及其测试环境等面临巨大挑战。本文分析了麻将博弈的相关研究文献,梳理出基于知识和基于数据的两大类麻将AI构建方法,分析了每种类型的构建方法的优势... 详细信息

麻将及其不同变体的规则复杂,构建高水平的麻将博弈AI(artificial intelligence)算法及其测试环境等面临巨大挑战。本文分析了麻将博弈的相关研究文献,梳理出基于知识和基于数据的两大类麻将AI构建方法,分析了每种类型的构建方法的优势和局限性,重点分析了Suphx构建方法。指出了麻将AI构建面临的问题和挑战;提出将经验回放、分层强化学习、好奇心模型、对手模型、元学习、迁移学习、课程学习等应用到麻将博弈AI算法优化中,构建多元化的麻将AI评估指标、通用对抗平台和高质量的数据集等未来的研究重点。

关键词：机器博弈非完备信息博弈麻将 Suphx 知识对手建模深度学习强化学习

基于多特征融合与多语言预训练的藏文文本分类

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

中文信息学报 2023年第12期37卷 54-61页

作者：胥桂仙陈哲马慧麟中央民族大学民族语言智能分析与安全治理教育部重点实验室北京100081 中央民族大学信息工程学院北京100081

针对藏文数据集稀少的问题,该文对TNCC数据集进行了数据增强,提出了基于少数民族语言预训练模型(CINO)、TextCNN和双向长短时记忆网络(BiLSTM)的多特征融合与多语言预训练的藏文文本分类模型(MFMLP)。模型将数据集的文本分词输入到CINO... 详细信息

针对藏文数据集稀少的问题,该文对TNCC数据集进行了数据增强,提出了基于少数民族语言预训练模型(CINO)、TextCNN和双向长短时记忆网络(BiLSTM)的多特征融合与多语言预训练的藏文文本分类模型(MFMLP)。模型将数据集的文本分词输入到CINO中,然后将提取到的全部特征分别经过TextCNN和BiLSTM通路以提取不同层次特征,将提取到的特征与CINO提取的[CLS]特征在融合层进行多特征融合,最终通过分类器实现分类。基于藏文数据集TNCC进行文本分类实验,结果表明相较于CINO模型,该文提出的算法对藏文文本类别的识别能力有一定的提高。

关键词：多特征融合多语言预训练藏文文本分类

在线全文

学校读者我要写书评

暂无评论

端到端语音到语音翻译的优化方法综述

计算机应用 2024年

作者：宗伟赵悦李尹徐晓娜民族语言智能分析与安全治理教育部重点实验室(中央民族大学) 中央民族大学信息工程学院

语音到语音翻译是语音领域中新兴的研究方向，旨在将一种语言的语音翻译成另一种语言的语音。随着人们对跨语言交流需求的增加，语音到语音翻译受到广泛的关注，相关研究也不断涌现。传统的级联模型在语音到语音翻译过程中存在着诸多问... 详细信息

语音到语音翻译是语音领域中新兴的研究方向，旨在将一种语言的语音翻译成另一种语言的语音。随着人们对跨语言交流需求的增加，语音到语音翻译受到广泛的关注，相关研究也不断涌现。传统的级联模型在语音到语音翻译过程中存在着诸多问题，如错误传播、推理延迟和无法翻译无文字系统的语言等，因此如何通过端到端模型实现直接语音到语音翻译是当前研究的重点。在对端到端语音到语音翻译进行了全面调查的基础上，详细分析和归纳了端到端语音到语音翻译的各种模型，综述了已有的相关技术，将端到端语音到语音翻译面临的挑战总结为建模负担、数据稀缺和现实应用三类问题，并重点探讨了现有工作是如何解决这三类问题的。大语言模型强大的理解和生成能力为语音到语音翻译提供了新的可能性，同时也带来了更多的挑战。讨论了大语言模型在语音到语音翻译中的应用，并设想了未来可能的发展方向。

关键词：端到端语音到语音翻译建模负担数据稀缺现实应用语音基石模型

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

构音障碍语音识别算法研究综述

计算机工程与应用 2024年第11期60卷 62-74页

作者：宋伟张杨豪中央民族大学信息工程学院北京100081 国家语言资源监测与研究少数民族语言中心北京100081 民族语言智能分析与安全治理教育部重点实验室北京100081

构音障碍作为一种医学难症,目前主流的语音识别技术并不能很好地适应这一领域的需求。同时针对构音障碍的语音识别技术利用预训练及个性化训练相结合的方式,通过数据驱动进一步提升了算法性能,识别字错误率进一步降低,但是目前针对构音... 详细信息

构音障碍作为一种医学难症,目前主流的语音识别技术并不能很好地适应这一领域的需求。同时针对构音障碍的语音识别技术利用预训练及个性化训练相结合的方式,通过数据驱动进一步提升了算法性能,识别字错误率进一步降低,但是目前针对构音障碍的语音识别技术离实际商用还存在一定的距离,该技术的发展受数据规模和技术的限制。到目前为止,尚未出现针对构音障碍语音识别方面的综述文章,亟需将该领域中各种数据集的构建方法和先进技术进行对比分析,以方便进入该领域的研究人员快速获取这方面的知识。对现有数据集、主流算法、评估方式进行了调研,总结了国内外主流构音障碍数据集的规模、形式和特点。分析了构音障碍语音识别的主流算法,并给出了不同算法的性能和特点。最后,研究了基于构音障碍患者的严重等级的算法模型性能评价指标,并讨论了未来的研究方向,以期能够为从事构音障碍语音识别的研究人员提供帮助,助力该领域的快速发展。

关键词：构音障碍语音识别深度学习人工智能