检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于参数模型和肌肉模型的面部动画研究

计算机应用与软件 2007年第7期24卷 149-150,181页

作者：张力赵玮陈福民同济大学计算机科学与工程系上海200092 同济大学计算中心上海200092

具有真实感的三维面部模型的构造和动画模拟是当前三维图形图像领域的研究热点及难点之一。在参数模型和肌肉模型的基础上,提出了一种新的面部动画混合模型,该模型结合了两种模型思想和处理方法。同时,还给出了模型的层次化结构,网格的... 详细信息

具有真实感的三维面部模型的构造和动画模拟是当前三维图形图像领域的研究热点及难点之一。在参数模型和肌肉模型的基础上,提出了一种新的面部动画混合模型,该模型结合了两种模型思想和处理方法。同时,还给出了模型的层次化结构,网格的变形算法思想以及系统实现的具体框架。

关键词：面部动画参数模型肌肉模型混合模型网格变形

基于Microsoft Speech SDK和OGRE的语音驱动三维面部动画研究

在线全文

学校读者我要写书评

暂无评论

科技视界 2013年第7期 46-47页

作者：王潇天津职业技术师范大学信息技术工程学院中国天津300222

本文介绍了一种基于Microsoft Speech SDK作为语音引擎和OGRE(Object-Oriented Graphics Rendering Engine)作为三维动画渲染引擎语音驱动三维面部动画系统,使用Microsoft Speech SDK提供的TTS(Text To Speech)接口将带有表情标记的XML文本转化为语音的同时提取音素关键字以及表情关键字并驱动OGRE的Facial Animation组件生成和语音指令同步的面部动画。

关键词： Microsoft Speech SDK OGRE 面部动画

Audio2Face基于音频文件智能生成虚拟角色面部动画

在线全文

学校读者我要写书评

暂无评论

现代电影技术 2021年第9期 60-61页

作者：无蔡国鑫(整理) 中国电影科学技术研究所不详

近日英伟达(Nvidia)公司发布了一款基于人工智能(AI)的Audio2Face应用程序,根据音频源生成3D虚拟角色面部动画并实现唇音同步,可用于实时交互应用或作为内容创作通道。传统虚拟角色面部动画制作需进行建模、绑定、动画等一系列处理,而Au... 详细信息

近日英伟达(Nvidia)公司发布了一款基于人工智能(AI)的Audio2Face应用程序,根据音频源生成3D虚拟角色面部动画并实现唇音同步,可用于实时交互应用或作为内容创作通道。传统虚拟角色面部动画制作需进行建模、绑定、动画等一系列处理,而Audio2Face以.wav或.mp3音频文件为输入,直接生成角色面部动画或几何缓存,制作人员只需根据应用需求进行调整定制即可使用。

关键词：音频文件应用程序实时交互虚拟角色制作人员 Audio 面部动画智能生成

维塔数字智能面部动画系统在电影《阿凡达:水之道》得到成功应用

在线全文

学校读者我要写书评

暂无评论

现代电影技术 2023年第5期 63-64页

作者：张雪(整理) 中央宣传部电影技术质量检测所

近年来多部影片使用面部动作编码系统(Facial Action Coding System,FACS)采集演员各种不同表情,形成表情库,并在片场与演员的面部表情数据匹配后,形成逼真的数字演员。在2019年制作完成《阿丽塔:战斗天使》后,制作公司维塔数字(Weta Di... 详细信息

近年来多部影片使用面部动作编码系统(Facial Action Coding System,FACS)采集演员各种不同表情,形成表情库,并在片场与演员的面部表情数据匹配后,形成逼真的数字演员。在2019年制作完成《阿丽塔:战斗天使》后,制作公司维塔数字(Weta Digital)认为FACS系统存在诸多问题,如面部肌肉分离、覆盖、大规模冗余等。例如,当FACS映射一个面部表情时,为了获得足够真实可信的效果,FACS可能会绑定多达900个FACS形状。这是因为,FACS不是一个基于动态时间和对话动作的面部动画系统,而仅仅是情感表达,只能从外部模拟一张脸,缺乏姿势过渡信息。

关键词：面部表情数据匹配 FACS 面部肌肉编码系统阿凡达数字智能面部动画

基于BLSTM-RNN的语音驱动逼真面部动画合成

在线全文

学校读者我要写书评

暂无评论

基于BLSTM-RNN的语音驱动逼真面部动画合成

第十三届全国人机语音通讯学术会议(NCMMSC2015)

作者：阳珊樊博谢磊王丽娟宋謌平西北工业大学计算机学院陕西省语音与图像处理重点实验室微软亚洲研究院

本文提出了一种基于深度BLSTM(bidirectional long short-term memory)的语音驱动面部动画合成方法。BLSTM是一种特殊的递归神经网络(recurrent neural network,RNN),能够有效地对语音的长时上下文进行建模。本文利用说话人的音视频双... 详细信息

本文提出了一种基于深度BLSTM(bidirectional long short-term memory)的语音驱动面部动画合成方法。BLSTM是一种特殊的递归神经网络(recurrent neural network,RNN),能够有效地对语音的长时上下文进行建模。本文利用说话人的音视频双模态信息训练BLSTM-RNN神经网络,采用主动外观模型(active appearance model,AAM)对人脸图像进行建模,将AAM模型参数作为网络输出。本文研究了网络结构、不同语音特征输入对动画合成效果的影响。基于LIPS2008标准评测库的实验表明,具有BLSTM层的网络效果明显优于前向网络,基于BLSTM-前向-BLSTM 256节点(BFB256)的三层模型结构的效果最佳,FBANK和基频、能量组合可以进一步提升动画合成效果。

关键词：虚拟说话人面部动画双向长短时记忆递归神经网络主动外观模型

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

基于改进薄板样条运动模型的人脸动画算法

计算机工程 2024年第6期50卷 255-265页

作者：杨硕王一丁北方工业大学信息学院北京100144

面部动画在电影、游戏、虚拟现实等领域起着关键作用,对于实现逼真、生动的人脸动画和情感传达至关重要。当面临面部形状、姿态、表情等多个变化因素时,虽然通过薄板样条非线性变换可以获得较好的运动估计结果,但在处理面部复杂纹理和... 详细信息

面部动画在电影、游戏、虚拟现实等领域起着关键作用,对于实现逼真、生动的人脸动画和情感传达至关重要。当面临面部形状、姿态、表情等多个变化因素时,虽然通过薄板样条非线性变换可以获得较好的运动估计结果,但在处理面部复杂纹理和嘴部运动时存在运动估计不精细的问题,需要更强大的图像修复能力。因此,提出一种基于改进薄板样条运动模型(TPSMM)的人脸动画算法。首先,在TPSMM的基础上引入一种Farneback光流金字塔算法,通过与薄板样条变换和背景仿射变换相结合,使得人脸局部运动估计更精准;其次,为了更真实地恢复缺失区域的细节纹理信息,提出一种多尺度细节感知网络,该网络在编码器中通过嵌入通道注意力(ECA)模块减少源图像因多层下采样而导致的人脸细节信息丢失,在解码器中利用坐标注意力(CA)模块来有效捕获运动估计特征图中不同位置的重要特征,提高人脸图像的生成质量。实验结果表明,相比一阶段运动模型(FOMM)、关节动画的运动表示法(MRAA)、TPSMM等,该算法在MUG、UvA-Nemo和Oulu-CASIA数据集上的L1、平均关键点距离(AKD)、平均欧氏距离(AED)数值均达到最优,平均分别为0.0129、0.923、0.00099。

关键词：面部动画光流估计薄板样条多尺度特征融合通道注意力机制坐标注意力机制

Self-Diffuser:语音驱动人脸表情的技术研究

在线全文

学校读者我要写书评

暂无评论

计算机科学与应用 2024年第8期14卷 236-249页

作者：臧梦利王少波智宇陈昂温州大学计算机与人工智能学院元宇宙与人工智能研究中心浙江温州温州大学元宇宙与人工智能研究院浙江温州

先前的语音驱动面部表情的动画研究从音频信号中产生了较为逼真和精确的嘴唇运动和面部表情。传统的方法主要集中在学习从语音到动画的确定性映射,最近的研究开始探讨语音驱动的3D人脸动画的多样性,即通过利用扩散模型的多样性能力来捕... 详细信息

先前的语音驱动面部表情的动画研究从音频信号中产生了较为逼真和精确的嘴唇运动和面部表情。传统的方法主要集中在学习从语音到动画的确定性映射,最近的研究开始探讨语音驱动的3D人脸动画的多样性,即通过利用扩散模型的多样性能力来捕捉音频和面部运动之间复杂的多对多关系来完成任务。本文的Self-Diffuser方法使用预训练的大语言模型wav2vec 2.0对音频输入进行编码,通过引入基于扩散的技术,将其与Transformer相结合来完成生成任务。本研究不仅克服了传统回归模型在生成具有唇读可理解性的真实准确唇运动方面的局限性,还探讨了精确的嘴唇同步和创造与语音无关的面部表情之间的权衡。通过对比、分析当前最先进的方法,本文的Self-Diffuser方法,使得语音驱动的面部动画产生了更精确的唇运动;在与说话松散相关的上半部表情方面也产生了更贴近于真实说话表情的面部运动;同时本文模型引入的扩散机制使得生成3D人脸动画序列的多样性能力也大大提高。Previous research on speech-driven facial expression animation has achieved realistic and accurate lip movements and facial expressions from audio signals. Traditional methods primarily focused on learning deterministic mappings from speech to animation. Recent studies have started exploring the diversity of speech-driven 3D facial animation, aiming to capture the complex many-to-many relationships between audio and facial motion by leveraging the diversity capabilities of diffusion models. In this study, the Self-Diffuser method is proposed by utilizing the pre-trained large-scale language model wav2vec 2.0 to encode audio inputs. By introducing diffusion-based techniques and combining them with Transformers, the generation task is accomplished. This research not only overcomes the limitations of traditional regression models in generating lip movements that are both realistic and lip-reading comprehensible, but also explores the trade-off between precise lip synchronization and creating facial expressions independent of speech. Through comparisons and analysis with the current state-of-the-art methods, the Self-Diffuser method in this paper achieves more accurate lip movements in speech-driven facial animation. It also produces facial motions that closely resemble real speaking expressions in the upper face region correlated with speech looseness. Additionally, the introduced diffusion mechanism significantly enhances the diversity capabilities in generating 3D facial animation sequences.

关键词： wav2vec 2.0 Transformer 扩散机制语音驱动面部动画

维普期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

语音驱动虚拟说话人的自然头动生成

清华大学学报（自然科学版） 2013年第6期53卷 898-902页

作者：李冰锋谢磊朱鹏程樊博西北工业大学计算机学院陕西省语音与图像信息处理重点实验室西安710072

从语音信号预测伴随头动时,基于隐Markov模型(hidden Markov model,HMM)的头动合成方法的效果依赖于头动模式的划分和头动模式的正确识别。该文尝试了不同头动模式划分方法的头动合成效果。由于语音和头动之间是非确定性的多对多的映射... 详细信息

从语音信号预测伴随头动时,基于隐Markov模型(hidden Markov model,HMM)的头动合成方法的效果依赖于头动模式的划分和头动模式的正确识别。该文尝试了不同头动模式划分方法的头动合成效果。由于语音和头动之间是非确定性的多对多的映射关系,很难用固定的类别描述清楚,因此该类方法的头动模式识别率不高,头动合成效果受限。该文尝试采用逆传播(back-propagation,BP)神经网络的非线性回归方法,通过学习语音与头动之间的映射关系,实现语音信号到头动参数之间的直接连续映射,避免了HMM方法中头动模式不明确、头动模式识别错误带来的负面影响。实验表明,基于BP神经网络的回归方法有效地提高了语音到头动预测的准确度和头动合成的自然度。

关键词：虚拟说话人面部动画头动生成隐Markov模型神经网络

在线全文

学校读者我要写书评

暂无评论

实时语音驱动的虚拟说话人

清华大学学报（自然科学版） 2011年第9期51卷 1180-1186页

作者：李冰锋谢磊周祥增付中华张艳宁西北工业大学计算机学院陕西省语音与图像信息处理重点实验室西安710129

该文实现了一个实时语音驱动的虚拟说话人面部动画方案。随着语音信号的输入,同步生成对应的面部动画。这种实时语音驱动的虚拟说话人在可视电话、虚拟会议、音视频聊天等即时通讯与娱乐媒体领域具有巨大的应用潜力。由于音素是最小的... 详细信息

该文实现了一个实时语音驱动的虚拟说话人面部动画方案。随着语音信号的输入,同步生成对应的面部动画。这种实时语音驱动的虚拟说话人在可视电话、虚拟会议、音视频聊天等即时通讯与娱乐媒体领域具有巨大的应用潜力。由于音素是最小的可分发音单元,因此构建音素识别器,对输入语音信号进行实时音素识别。为提高语音与口型的同步效果,改进了音素识别与输出算法。考虑协同发音影响,利用动态视素生成算法,将识别得到的音素转化为对应的面部动画参数序列。最后用参数序列驱动按照MPEG-4面部动画标准参数化的3-D头部模型,实现面部动画的同步生成。主观MOS评测结果表明:本文所实现的实时语音驱动虚拟说话人在的同步性和逼真度上的MOS评分分别达到了3.42和3.50。

关键词：可视语音合成虚拟说话人面部动画