检索结果-南通市图书馆

西安电子科技大学学报 2024年

作者：刘龙李浩生张梦璇杜莹常雅淇张文博西安电子科技大学电子工程学院西安电子科技大学人工智能学院北京电影学院实习创作处

人脸动画技术旨在通过输入源数据（如音频或视频）动态驱动静态人脸图像，以产生逼真的动画效果。深度学习技术的发展极大地推动了人脸动画技术的进步，深度学习模型能够学习并捕捉面部特征与运动规律，通过自动化驱动过程实现具有真实... 详细信息

人脸动画技术旨在通过输入源数据（如音频或视频）动态驱动静态人脸图像，以产生逼真的动画效果。深度学习技术的发展极大地推动了人脸动画技术的进步，深度学习模型能够学习并捕捉面部特征与运动规律，通过自动化驱动过程实现具有真实性与个性化表达的人脸动画。目前，基于深度学习的人脸动画领域已有大量研究成果，但现有的综述多聚焦于特定技术或单一模态的驱动源，本文系统地综述了基于深度学习的人脸动画驱动技术，分别按照音视频驱动面部动画的流程总结研究现状。首先，介绍了从输入源数据提取面部特征的一般步骤；其次，深入分析了特征提取与动画合成的关键技术，并对比不同深度学习网络架构在各步骤的优劣性；最后，总结不同架构下的动画生成方法并比较异同。此外，还列举了人脸动画方法常用的数据集及评价指标，总结了领域内现存挑战，进一步阐述了未来工作的发展趋势并做出一些展望，旨在为研究人员提供深度学习在人脸动画领域应用的更全面视角。

关键词：人脸动画深度学习音视频驱动虚拟人研究综述

来源：

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于深度学习的三维人脸动画生成研究

基于深度学习的三维人脸动画生成研究

引用

作者：季学杰中国科学技术大学

学位级别：硕士

人脸是人类表达情感的窗口,面部表情和肌肉运动的变化可以传达情绪、意图和沟通意愿等信息,这在社交交互和人际沟通中具有至关重要的作用。因此,在虚拟世界中模拟出真实的人脸动画一直是工业界和学术界研究的重要课题,也是人机交互技术... 详细信息

人脸是人类表达情感的窗口,面部表情和肌肉运动的变化可以传达情绪、意图和沟通意愿等信息,这在社交交互和人际沟通中具有至关重要的作用。因此,在虚拟世界中模拟出真实的人脸动画一直是工业界和学术界研究的重要课题,也是人机交互技术不断发展的重要趋势之一。传统的三维人脸动画通常由动画艺术家人工建模关键帧或者人脸捕捉技术合成,前者需要耗费大量的时间精力,后者需要昂贵的捕捉设备。因此,考虑其它输入方式,如语音和视频,可以作为推断面部动作不可或缺的补充,让计算机自动生成对应的人脸动画具有重大研究意义。本文的研究工作主要从语音和视频出发生成唇音同步、姿态可控、表情自然的三维人脸动画,总结如下:1.语音驱动的三维人脸动画生成研究,主要针对唇音同步部分,使用语音信息作为输入,在4D人脸视听数据集VOCASET上训练。首先,为了弥补了 4D数据的稀缺性,以提高对噪音和异常值的鲁棒性以及对跨语言的泛化性,采用自监督预训练模型wav2vec2.0提取语音特征。接着针对当前方法中使用的线性层回归三维人脸偏移点,引入了网格卷积更好地学习三维人脸模型的几何结构。网格卷积拥有局部不变的滤波器,通过网格表面共享,显著减少了网络中的参数量。最后,使用时间卷积和网格卷积设计并搭建了编码-解码器网络,以拟合语音特征和三维人脸模型之间的复杂映射关系。通过对比实验表明了 wav2vec2.0语音特征和网格卷积的有效性,客观评测和主观评测实验表明了本文基于网格卷积的神经网络模型在轻量级的训练参数量下相比较已有先进方法的优越性。2.音视频联合驱动的三维人脸动画生成研究,主要针对姿态控制和自然表情部分,在语音驱动方法的基础上搭建额外的表情姿态网络,并在公开的二维人脸视听数据集上进行实验。首先固定语音驱动网络,并将其输出的三维人脸唇形动画作为基础,同时提取编码器输出的语音特征。然后改进了以往的视频帧预处理算法,接着表情姿态网络使用骨干网络对于预处理好的视频帧提取视觉特征,并使用时间卷积进一步提取时序视觉特征。最后使用单独的时序视觉特征回归仅与视觉相关的表情参数和头部姿态参数,使用语音特征和时序视觉特征的融合特征回归与唇形相关的下巴姿态参数,视作对唇形动画的嘴部微调。另外,本文引入了多种一致性损失,以提高网络对于表情和姿态的拟合效果。通过消融实验探究了各个部分的有效性,通过客观评测和主观评测实验表明了本文提出的音视频联合驱动的三维人脸动画生成方法相比较其它模型取得了最佳的结果。

关键词：三维人脸动画语音驱动网格卷积音视频驱动特征融合

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：