检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于离散扩散模型的序列到序列文本生成方法

计算机科学与探索 2024年

作者：蒋航蔡国永李思慧桂林电子科技大学计算机与信息安全学院广西可信软件重点实验室

扩散语言模型是目前非自回归模型中最具潜力的语言模型，有望取代饱受推理速度缓慢问题拖累的自回归语言模型，实现高效且无损于质量的文本生成。文本摘要生成、机器翻译、对话生成等序列到序列的生成任务是扩散语言模型经常会遇到的实... 详细信息

扩散语言模型是目前非自回归模型中最具潜力的语言模型，有望取代饱受推理速度缓慢问题拖累的自回归语言模型，实现高效且无损于质量的文本生成。文本摘要生成、机器翻译、对话生成等序列到序列的生成任务是扩散语言模型经常会遇到的实际应用场景，如何更好更快的实现序列到序列的文本生成一直都是自然语言处理领域的研究重点。为了实现上述目标，通过推导离散扩散模型训练目标的上界简化了扩散模型的训练过程，随后引入并改造了条件掩码语言模型的遮掩-预测解码策略作为扩散模型的推理算法，提升了模型的生成质量。为了进一步提升离散扩散模型在推理的前几轮生成文本的质量，还提出了正弦噪音调度，相比于原来的线性噪音调度，时间步中高噪音区间变得更大了，模型将更专注于学习如何从高噪音数据中恢复数据，从而提升在推理的前几轮中生成文本的质量。受到课程学习策略的启发，设计了新的时间步采样分布，通过操纵时间步的采样实现由易到难的学习。在公开数据集上的实验表明，提出的方法能有效提升模型的性能，在WMT16 EN-RO数据集上，扩散模型仅用自回归基线一半的推理时间，就能推理出相同生成质量的文本。

关键词：扩散模型语言模型文本生成序列到序列非自回归模型

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

IFPUG功能点分析法的改进分析

集成电路应用 2024年第4期41卷 132-133页

作者：唐炜博蔡国永桂林电子科技大学广西541214

阐述IFPUG功能点分析法的特点。提出通过线性回归方法,将原本为离散函数的计算规则,转换为更平滑的连续函数,提高规模度量方法的合理性,并通过实际项目,验证改进后方法的有效性。

关键词：软件规模度量 IFPUG 转换函数

在线全文

学校读者我要写书评

暂无评论

基于大语言模型的课程教学答疑系统设计

计算机科学与应用 2024年第5期14卷 165-171页

作者：陆楚龙蔡国永肖微闭国欣桂林电子科技大学计算机与信息安全学院广西桂林

在混合式教学中,如何能对学生学习过程中的疑问进行及时回答对教师来说是一个比较头痛的问题。借助AI技术,开发能自动回复学生问题的教学辅助系统是一个非常重要手段。本文介绍一个能协助教师,帮助学生解决课程学习问题的会话系统ChatQ... 详细信息

在混合式教学中,如何能对学生学习过程中的疑问进行及时回答对教师来说是一个比较头痛的问题。借助AI技术,开发能自动回复学生问题的教学辅助系统是一个非常重要手段。本文介绍一个能协助教师,帮助学生解决课程学习问题的会话系统ChatQA。该系统通过深度学习模型,能够与学生进行自然、连贯的对话,回答学生课程学习中的问题,有效缓解了教师的答疑负担。论文详细讨论了该系统的设计原理、Prompt优化方法等,并通过软件工程课程的问题进行了测试,显示了该方法的可用性,具有较好的自动答疑的效果。

关键词：大语言模型生成式对话模型优化课程答疑

基于多头注意力和词共现关系的方面级情感分析

维普期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

南京大学学报（自然科学版） 2022年第5期58卷 884-893页

作者：蔡国永兰天桂林电子科技大学计算机与信息安全学院桂林541004

针对特定目标的情感分析是文本情感细粒度理解任务的重要内容.已有研究大多通过循环神经网络和注意力机制来建模文本序列信息和全局依赖,并利用文本依赖解析树作为辅助知识,但这些方法没有充分利用目标词与文本词之间的依赖关系,也忽略... 详细信息

针对特定目标的情感分析是文本情感细粒度理解任务的重要内容.已有研究大多通过循环神经网络和注意力机制来建模文本序列信息和全局依赖,并利用文本依赖解析树作为辅助知识,但这些方法没有充分利用目标词与文本词之间的依赖关系,也忽略了训练语料库中的词共现关系,而词共现信息往往意味着一种语法搭配.为了解决上述问题,提出一种目标依赖的多头自注意力网络模型.该模型首先设计内联和外联两种不同的注意力机制用于建模文本词和目标词的隐藏状态和语义交互;其次,该模型构建了语料库级别和句子级别的词共现图,并通过图卷积网络将词共现信息融合进文本的特征表示学习并用于下游分类任务.在五个标准数据集上进行了对比实验,实验结果表明,提出的模型在方面级情感分析任务中的性能优于所有对比模型.

关键词：方面级情感分析注意力机制图卷积神经网络词共现目标依赖

在线全文

学校读者我要写书评

暂无评论

提示学习启发的无监督情感风格迁移研究

计算机工程与应用 2023年

作者：蔡国永李安庆桂林电子科技大学计算机与信息安全学院广西可信软件重点实验室

文本样式迁移是在保留文本内容信息的同时移植具有某种所需样式属性的文本生成任务。为了提高在非平行样式语料下的迁移质量，提出了一种指导填充掩码模型将句子重写为目标样式的新方法。该方法总体上基于“删除-检索-生成”样式迁移框... 详细信息

文本样式迁移是在保留文本内容信息的同时移植具有某种所需样式属性的文本生成任务。为了提高在非平行样式语料下的迁移质量，提出了一种指导填充掩码模型将句子重写为目标样式的新方法。该方法总体上基于“删除-检索-生成”样式迁移框架，但采用大型无监督预训练语言模型和Transformer架构。根据Transformer的工作机理，首先改进了从源语句中筛选样式属性的方法，接着通过提示学习方法挖掘预训练模型的内部知识以实现对目标样式词的生成。在两个情感基准数据集上的实验表明，该方法在文本样式迁移任务上明显优于现有的编辑类方法，综合指标的相对分数平均提高了14%以上。

关键词：文本生成文本样式迁移情感迁移提示学习 transformer

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

图像美学信息增强的视觉感知推荐系统

计算机科学 2023年第S2期50卷 273-280页

作者：张凯煊蔡国永朱琨日桂林电子科技大学计算机与信息安全学院广西桂林541000 广西可信软件重点实验室(桂林电子科技大学) 广西桂林541000

视觉感知推荐系统旨在从视觉认知角度出发,通过提取物品图像的视觉特征来增强用户和物品交互的行为特征,建模用户视觉与行为相关的偏好,从而更好地进行推荐。已有的视觉感知推荐研究中,通常使用预训练的卷积神经网络(CNN)来提取视觉对... 详细信息

视觉感知推荐系统旨在从视觉认知角度出发,通过提取物品图像的视觉特征来增强用户和物品交互的行为特征,建模用户视觉与行为相关的偏好,从而更好地进行推荐。已有的视觉感知推荐研究中,通常使用预训练的卷积神经网络(CNN)来提取视觉对象语义特征,很少考虑物品外观图像内部隐藏的美学风格特征;其次,在视觉感知推荐中用户和物品的交互行为结构嵌入信息通常被忽视。为了解决这些问题,提出了一个融合图像美学和行为交互结构嵌入的美学特征感知视觉推荐系统(ABVR)。ABVR使用预训练ViT模型提取图像的高层视觉特征——语义类别特征,利用美学提取网络挖掘出图像中的中层美学视觉特征——物品的颜色、形状等特征,利用图卷积神经网络(GCN)模块学习用户物品交互图结点的多层图结构嵌入特征,最后将3类特征关联融合,以实现美学增强的视觉推荐。在两个真实数据集上进行了大量实验,验证了ABVR模型在视觉推荐性能提升上的有效性。

关键词：视觉感知美学特征视觉推荐图卷积神经网络

在线全文

学校读者我要写书评

暂无评论

一种多任务学习的跨模态视频情感分析方法

计算机工程与应用 2023年第12期59卷 141-147页

作者：缪裕青董晗张万桢周明蔡国永杜华巍桂林电子科技大学计算机与信息安全学院广西桂林541004 桂林电子科技大学广西图像图形与智能处理重点实验室广西桂林541004 桂林航天工业学院工程综合训练中心广西桂林541004 仲恺农业工程学院信息科学与技术学院广州510225 桂林海威科技股份有限公司广西桂林541004 桂林电子科技大学广西可信软件重点实验室广西桂林541004

针对现有跨模态视频情感分析模型中模态融合不充分、空间复杂度较高以及较少考虑说话人本身属性对情感影响等问题,提出了一种结合多头注意力与多任务学习的跨模态视频情感分析模型。对视频进行预处理,得到视频、音频、文本三个模态的特... 详细信息

针对现有跨模态视频情感分析模型中模态融合不充分、空间复杂度较高以及较少考虑说话人本身属性对情感影响等问题,提出了一种结合多头注意力与多任务学习的跨模态视频情感分析模型。对视频进行预处理,得到视频、音频、文本三个模态的特征表示。将得到的特征表示分别输入到GRU网络以提取时序特征。利用所提出的最大池化多头注意力机制,实现文本与视频、文本与音频的两两融合。将融合后的特征输入到情感分类与性别分类多任务网络得到说话人的情感极性与性别属性。实验结果表明,所提模型能够较好地利用模态间的差异信息与说话人性别属性,在有效提升情感识别准确率的同时降低了模型的空间复杂度。

关键词：视频情感分析模态融合多头注意力多任务学习模型复杂度

在线全文

学校读者我要写书评

暂无评论

方面级多模态协同注意图卷积情感分析模型

中国图象图形学报 2023年第12期28卷 3838-3854页

作者：王顺杰蔡国永吕光瑞唐炜博桂林电子科技大学计算机与信息安全学院桂林541004 广西可信软件重点实验室桂林541004 大连海事大学信息科学技术学院大连116026

目的方面级多模态情感分析日益受到关注,其目的是预测多模态数据中所提及的特定方面的情感极性。然而目前的相关方法大都对方面词在上下文建模、模态间细粒度对齐的指向性作用考虑不够,限制了方面级多模态情感分析的性能。为了解决上述... 详细信息

目的方面级多模态情感分析日益受到关注,其目的是预测多模态数据中所提及的特定方面的情感极性。然而目前的相关方法大都对方面词在上下文建模、模态间细粒度对齐的指向性作用考虑不够,限制了方面级多模态情感分析的性能。为了解决上述问题,提出一个方面级多模态协同注意图卷积情感分析模型(aspect-level multi⁃modal co-attention graph convolutional sentiment analysis model,AMCGC)来同时建模方面指向的模态内上下文语义关联和跨模态的细粒度对齐,以提升情感分析性能。方法AMCGC为了获得方面导向的模态内的局部语义相关性,利用正交约束的自注意力机制生成各个模态的语义图。然后,通过图卷积获得含有方面词的文本语义图表示和融入方面词的视觉语义图表示,并设计两个不同方向的门控局部跨模态交互机制递进地实现文本语义图表示和视觉语义图表示的细粒度跨模态关联互对齐,从而降低模态间的异构鸿沟。最后,设计方面掩码来选用各模态图表示中方面节点特征作为情感表征,并引入跨模态损失降低异质方面特征的差异。结果在两个多模态数据集上与9种方法进行对比,在Twitter-2015数据集中,相比于性能第2的模型,准确率提高了1.76%;在Twitter-2017数据集中,相比于性能第2的模型,准确率提高了1.19%。在消融实验部分则从正交约束、跨模态损失、交叉协同多模态融合分别进行评估,验证了AMCGC模型各部分的合理性。结论本文提出的AMCGC模型能更好地捕捉模态内的局部语义相关性和模态之间的细粒度对齐,提升方面级多模态情感分析的准确性。

关键词：多模态情感分析方面级情感分析图卷积正交约束的自注意力机制跨模态协同注意方面掩码

在线全文

学校读者我要写书评

暂无评论

一种基于图注意力聚合的POI推荐新方法

计算机科学 2022年第S2期49卷 289-293页

作者：蔡国永陈心怡王顺杰桂林电子科技大学计算机与信息安全学院广西桂林541000 广西可信软件重点实验室(桂林电子科技大学) 广西桂林541000

在基于位置社交网络(Location-based Social Network,LBSNs)的服务中,有效的兴趣点(Point-of-Interest,POI)推荐具有极大的经济和社会效用,但如何深入理解LBSN中的位置、结构和行为等相关信息,并进行推理以及实现POI推荐仍然是一项挑战... 详细信息

在基于位置社交网络(Location-based Social Network,LBSNs)的服务中,有效的兴趣点(Point-of-Interest,POI)推荐具有极大的经济和社会效用,但如何深入理解LBSN中的位置、结构和行为等相关信息,并进行推理以及实现POI推荐仍然是一项挑战性任务。针对LBSNs中的多种异构数据,提出了一种能够挖掘用户社交和POI多种特征信息的用于POI推荐的图神经网络模型——POIR-GAT。首先POIR-GAT利用社交关系构建用户-用户图,并结合用户-POI交互图共同抽取用户特征向量;其次,基于POI的不同地理特征构造不同的特征矩阵,并通过矩阵分解获得不同的潜在因子,将这些潜在因子融入POI的特征向量,以学习它们对用户行为的共同影响,并用于实现融合社交因素和POI特征的推荐模型。通过在2个公开数据集上进行的实验,验证了所提POIR-GAT模型可以有效融合用户社交信息和POI特征信息,提高POI推荐质量。

关键词： LBSNs POI推荐图注意神经网络特征矩阵分解