检索结果-南通市图书馆

英语广场（学术研究） 2020年第34期 83-86页

作者：王继美盐城工学院外国语学院

本文结合口译教学的多模态特点,以多模态的口译实践为驱动,分析教师在口译教学中引入多模态的优势,并深入比较该模式与传统口译教学及智能化翻译的区别。在此基础上,笔者建立多模态配置课程资源、多模态教学改进和多模态过程控制三个流... 详细信息

本文结合口译教学的多模态特点,以多模态的口译实践为驱动,分析教师在口译教学中引入多模态的优势,并深入比较该模式与传统口译教学及智能化翻译的区别。在此基础上,笔者建立多模态配置课程资源、多模态教学改进和多模态过程控制三个流程,形成持续改进、迭代优化的口译教学构建过程,以期在提高学生口译学习积极性的同时,提高口译教学的实效性。

关键词：多模态驱动口译教学多模态构建

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

融合面部深度感知的音频驱动人脸重现方法

引用

指挥与控制学报 2024年第3期10卷 365-371页

作者：彭雪康孙国庆邵长乐练智超南京理工大学网络空间安全学院南京210094

人脸重现是一项条件面部生成任务,现有的基于音频驱动的人脸重现方法难以生成完整且高质量的人脸。针对这一问题,提出一种融合面部深度信息的音频驱动下的人脸重现方法。该方法采用了轻量级的模型框架以降低模型尺寸和提高运行速度。实... 详细信息

人脸重现是一项条件面部生成任务,现有的基于音频驱动的人脸重现方法难以生成完整且高质量的人脸。针对这一问题,提出一种融合面部深度信息的音频驱动下的人脸重现方法。该方法采用了轻量级的模型框架以降低模型尺寸和提高运行速度。实验在AnnVI数据集上与3种最新的音频驱动人脸重现方法进行了比较。结果表明,所提出的融合面部深度感知的人脸重现方法,极大地提高了音频驱动下生成人脸图像的质量。

关键词：人脸伪造人脸重现深度估计多模态驱动生成对抗网络

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

数字素养视角下艺术科技基础课程教学改革

引用

电脑知识与技术 2024年第18期20卷 178-180页

作者：朱志慧浙江音乐学院浙江杭州310024

从数字素养角度对艺术科技课程进行重构。首先课程内容分为知识、技能、态度情感三个维度,从基础理论到实践创作,层层递进;其次,教学模式采用层级式的线上、线下混合方法,以项目驱动方式进行技能训练,以成果导向、小组协作将知识、技术... 详细信息

从数字素养角度对艺术科技课程进行重构。首先课程内容分为知识、技能、态度情感三个维度,从基础理论到实践创作,层层递进;其次,教学模式采用层级式的线上、线下混合方法,以项目驱动方式进行技能训练,以成果导向、小组协作将知识、技术内化为自主应用;最后,采用多模态驱动的过程性评价与问卷调查结合的方式对教学效果进行检验,结果显示,在基础知识以及态度情感方面学生有所提高,但艺术与科技融合的作品创学生掌握情况不太理想。

关键词：数字素养艺科融合计算机技术多元混合多模态驱动

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

多模态数据驱动的无人平台智能规划方法研究

多模态数据驱动的无人平台智能规划方法研究

引用

作者：王凯强国防科技大学

学位级别：硕士

在部分可观环境中遂行多样化任务,无人平台需要依托传感器收集环境信息或用户语言描述等多模态数据,并对世界状态保持不间断地感知、更新和理解。传统规划领域知识表示及描述语言难以准确建模真实环境,且经典规划方法不具备从历史求解... 详细信息

在部分可观环境中遂行多样化任务,无人平台需要依托传感器收集环境信息或用户语言描述等多模态数据,并对世界状态保持不间断地感知、更新和理解。传统规划领域知识表示及描述语言难以准确建模真实环境,且经典规划方法不具备从历史求解经验中学习的能力,难以泛化到异构环境或多类任务。而数据驱动的、基于学习的规划求解方法使用低维稠密向量表示多模态信息,利用机器学习算法从大量的任务数据中挖掘规划模型,具备一定的泛化性能和较高的求解效率。本文围绕多模态数据驱动的无人平台智能规划问题展开研究,主要针对无地图、部分可观条件下视觉和语言数据驱动的智能规划问题,提出了知识辅助的智能任务分解算法,并构建了多模态数据驱动的、基于分层策略的智能规划模型,最后依托于高仿真交互框架实现训练和评估。论文的主要工作和贡献概述如下:(1)描述和分析了多模态数据驱动的智能规划问题并提出解决方案。形式化描述了视觉和语言数据驱动的智能规划问题,重点分析了长序列组合规划、环境部分可观、语言模糊性等关键挑战,进而提出了智能任务分解和基于分层策略的动态规划算法以应对上述问题,最后分析并介绍了实验中采用的视觉和语言数据的处理算法。(2)提出了基于预训练模型和领域知识图谱的智能任务分解算法。在无视觉输入条件下,针对自然语言指令的理解问题,构建了以对象和任务为中心的领域知识图谱,并设计一种嵌入算法将语义知识融入到预训练语言模型中以提高语义认知能力,最后搭建一个序列到序列模型将语言指令转换为子任务序列,初步实现了智能任务分解。实验结果表明,本文提出的知识赋能的任务分解算法,相比于现有模型的任务分解正确率提升了约5%。(3)构建了基于Transformer和分层策略的智能规划算法,并在高仿真交互平台上实现自主移动和交互操作。在无地图、部分可观条件下,面向子任务序列设计了指令选择器以实现分层规划,使用预训练模型编码自然语言指令和历史视觉图像,之后利用多层Transformer融合多模态数据,最后构建了决策推理网络,生成原子动作序列和相应的对象交互掩码,并与仿真环境交互以评估规划实效。实验结果表明,本文提出的多模态数据驱动的无人平台智能规划算法能够有效完成导航和操作的组合任务,初步具备了自主规划能力。

关键词：智能规划多模态驱动任务分解分层规划知识图谱

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于肖像驱动的情感可控虚拟人面部动画生成技术研究

基于肖像驱动的情感可控虚拟人面部动画生成技术研究

引用

作者：赵子康太原理工大学

学位级别：硕士

随着人工智能的快速发展和虚拟现实技术多角度的应用,基于人工智能的虚拟人技术得到各大研究机构与科技公司新一轮的关注与研究。其中,融合了人脸识别、跨模态生成、自然语言处理等技术的音频驱动的虚拟人面部动画生成在该领域表现尤为... 详细信息

随着人工智能的快速发展和虚拟现实技术多角度的应用,基于人工智能的虚拟人技术得到各大研究机构与科技公司新一轮的关注与研究。其中,融合了人脸识别、跨模态生成、自然语言处理等技术的音频驱动的虚拟人面部动画生成在该领域表现尤为突出。该方法利用音频数据驱动面部肖像或视频以生成真实有效的虚拟人面部动画,有着制作时间短、生产规模大、人工成本低、可塑性强等优点。大规模视听数据库的提出致使音频驱动的虚拟人面部动画生成在唇音同步方面取得实质性的进展,但在面部表情控制方面仍相对不够成熟。具体表现在面部表情生成的真实性与可靠性较低、情感表达覆盖面有限、模型的泛化能力较差以及对训练的依赖性等问题。针对音频驱动的虚拟人面部动画生成在面部表情控制的不成熟,本文提出基于肖像驱动的情感可控虚拟人面部动画生成技术研究,其通过输入音频、身份源静态肖像和情感源静态肖像,输出唇音同步、具有情感源情绪的目标肖像的面部动画。本文整体模型框架可以划分为三个网络组件,分别是唇音同步坐标动画生成网络、面部情感坐标动画生成网络和面部坐标翻译网络。上述网络模型分别用于预测唇部与音频音节同步情况、控制目标肖像面部表情以及基于上游任务生成情感可控的虚拟人面部动画。本文的主要工作包括以下三点:(1)针对现有研究模型泛化能力较差且对训练依赖性过强的问题,本文采用级联和解耦的设计思想,将面部坐标作为模型的中间表示,使整体框架分为上游任务的唇音同步坐标动画生成网络和面部情感坐标动画生成网络,以及下游任务的面部坐标翻译网络两个阶段。该方法通过面部坐标对音频与肖像像素的连接,将虚拟人生成任务降维成面部坐标生成任务,模糊了目标肖像身份必须经过训练的前提,提升了模型的泛用能力。(2)针对现有研究情感表达覆盖面有限的问题,本文融合了面部表情重塑的思想,提出任意肖像驱动的面部情感坐标动画生成网络模型。该模型通过额外引入的任意未经训练的情感源肖像,在保证目标身份的前提重塑面部表情,丰富了肖像动画情感表达的覆盖面,加强了面部表情生成的真实性,提升了模型实际应用的灵活性。(3)针对现有研究在面部表情控制的真实性与可靠性较低的问题,本文设计了三个真假性判别器和两个邻帧相似度判别器。三个真假性判别器分别用于提高视听同步性、面部表情可靠性以及虚拟人面部动画真实性;两个邻帧相似度判别器用于使生成的面部表情坐标序列和虚拟人面部动画平滑过渡。该方法在保证虚拟人唇音同步的前提下,提升了面部表情的控制力与真实性,解决了邻帧间坐标与像素的抖动问题,一定程度提高了模型的鲁棒性与可靠性。本文在传统的音频驱动的虚拟人面部动画生成任务之上,额外采用级联设计、解耦设计和面部表情重塑的思想,在保证虚拟人唇音同步的基础之上,通过额外输入的任意情感源肖像以控制虚拟人的面部表情。其提升了面部表情的真实性与可靠性、增大了情感表达的覆盖面,提升了模型的泛化能力,摆脱了传统方法对训练的依赖性。此外,本文进行了定量实验、定性实验、消融实验和一项多角度的用户调研,以证明该方法在视觉情感表达和视频真实性上的优越性。

关键词：虚拟人面部动画生成多模态驱动面部坐标面部表情重塑计算机视觉

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于生成对抗网络的人脸重现生成方法及系统研究

基于生成对抗网络的人脸重现生成方法及系统研究

引用

作者：邵长乐南京理工大学

学位级别：硕士

人脸重现是深度人脸伪造(Deep Fake)的一种,旨在将人脸表情从一个驱动人脸迁移到源人脸并生成转化后的目标人脸,同时保持目标人脸的身份和属性不变。本文主要集中于改进现有人脸重现方法,从现有人脸重现工作的不足和缺陷入手,结合多种... 详细信息

人脸重现是深度人脸伪造(Deep Fake)的一种,旨在将人脸表情从一个驱动人脸迁移到源人脸并生成转化后的目标人脸,同时保持目标人脸的身份和属性不变。本文主要集中于改进现有人脸重现方法,从现有人脸重现工作的不足和缺陷入手,结合多种驱动模态和面部动作表示,构建了高保真的人脸重现框架。并在多个公开数据集上验证了算法的可行性和有效性,主要研究内容为:1)本文提出了一种高保真的人脸重现框架。针对现有方法表情指引信息较为单一导致容易出现身份泄露和生成图像质量不高的问题,提出了一种融合面部关键点和动作单元的人脸重现方法。该方法使用一个关键点转换模块来对关键点信息进行对齐,然后使用一个人脸重现网络在动作信息的指引下生成重现人脸,并利用一个自适应动作控制器(AMC)模块插入动作特征,使重现过程能更好地保持语义特征。同时结合背景分离技术,使用单独的背景融合模块来合成背景,从而进一步提高了生成人脸的真实性,实现高保真的人脸重现。2)本文提出一种新的基于音频驱动的人脸重现方法。该方法针对现有的音频驱动人脸重现方法只能重现特定人脸或无法准确还原面部表情的问题,通过结合动作单元和面部深度信息作为辅助信号实现了真实的人脸重现。该方法包括多模态信号融合模块,自监督深度估计模块和深度感知人脸生成模块三个子模块。其中多模态信号融合模块用于融合音频信号和作为辅助信号的动作单元信号,该模块将两种信号融合并提取出人脸几何特征。自监督深度估计模块用于预测人脸图像的深度信息,该深度信息在后续生成人脸时将作为额外的约束条件以提高生成质量。最后,深度感知人脸生成模块根据参考人脸的图像以及前两个模块提取出的几何特征和面部深度特征,生成与输入信号相匹配的人脸。3)本文设计并实现了一个人脸重现数据生成与管理系统,该系统涵盖了本文提出的两种基于不同模态驱动的人脸重现方法,并能对生成的伪造数据进行统一和有效的管理。

关键词：人脸伪造人脸重现生成对抗网络多模态驱动

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：