检索结果-南通市图书馆

计算机科学与应用 2024年第8期14卷 168-178页

作者：王文祥王少波智宇陈昂温州大学计算机与人工智能学院元宇宙与人工智能研究中心浙江温州温州大学元宇宙与人工智能研究院浙江温州

近年来,语音驱动的3D面部动画得到了广泛的研究,虽然先前的工作可以从语音数据中生成连贯的3D面部动画,但是由于视听数据的稀缺性,生成的3D面部动画缺乏真实感和生动性,嘴唇运动的准确性不高。为了提高嘴唇运动的准确性和生动性,本文提... 详细信息

近年来,语音驱动的3D面部动画得到了广泛的研究,虽然先前的工作可以从语音数据中生成连贯的3D面部动画,但是由于视听数据的稀缺性,生成的3D面部动画缺乏真实感和生动性,嘴唇运动的准确性不高。为了提高嘴唇运动的准确性和生动性,本文提出了一种新的模型HBF Talk (端到端的神经网络模型),通过使用Hu BERT (Hidden-Unit BERT)预训练模型对语音数据进行特征提取和编码,引入Flash模块对提取到的语音特征表示进行进一步的编码,获得更为丰富的语音特征上下文表示,最后使用带偏置的跨模态Transformer解码器进行解码。本文进行了定量和定性实验,并与现有的基线模型进行比较,显示本文HBF Talk模型具有更好的性能,提高了语音驱动的嘴唇运动的准确性和生动性。In recent years, speech-driven 3D facial animation has been widely studied. Previous work on the generation of coherent 3D facial animations was reported from speech data. However, the generated 3D facial animations lacks realism and vividness due to the scarcity of audio-visual data, and the accuracy of lip movements is not sufficient. This work is performed in order to improve the accuracy and vividness of lip movement and an end-to-end neural network model, HBF Talk, is proposed. It utilizes the Hu BERT (Hidden-Unit BERT) pre-trained model for feature extraction and encoding of speech data. The Flash module is introduced to further encode the extracted speech feature representations, resulting in more enriched contextual representations of speech features. Finally, a biased cross-modal Transformer decoder is used for decoding. This paper conducts both quantitative and qualitative experiments and compares the results with existing baseline models, demonstrating the proposed HBF Talk model outperforms previous models by improving the accuracy and liveliness of speech-driven lip movements.

关键词： Hu BERT Flash Transformer 3D面部动画嘴唇运动

来源：

维普期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

多视角的唇动身份识别研究

多视角的唇动身份识别研究

引用

作者：林晓鑫哈尔滨工业大学

学位级别：硕士

基于多视角的唇动的身份识别技术,是多视角人脸识别和正面唇动身份识别的生物特征识别技术的延伸和组合。说话时的唇动信息,既体现了说话人嘴唇的固有生理特点,也反映了运动变化的个性行为特点,为进行身份识别提供了充分的有用信息。而... 详细信息

基于多视角的唇动的身份识别技术,是多视角人脸识别和正面唇动身份识别的生物特征识别技术的延伸和组合。说话时的唇动信息,既体现了说话人嘴唇的固有生理特点,也反映了运动变化的个性行为特点,为进行身份识别提供了充分的有用信息。而多视角的唇动身份识别不仅补充了单一视角的缺陷,同时消除了对使用者造成的视角的限制。作为研究的基础,本文首先构建了基于多视角的唇动识别语料库(HIT-AVDB-II),该语料库录制于不同的光照条件下,涵盖多种语言、多种背景等。在嘴唇检测方面,我们针对多视角的特点,采用自适应的颜色空间转换和水平集方法相结合的方法,提高了轮廓获取的准确度。为了解决视频分割不同步的问题,采用了曲线的面积覆盖和的方法,进行唇动曲线同步。在特征提取和模型构建上,首先用DCT和SCHMM相结合的方法。针对图像的嘴唇部分进行DCT变换,采用低频分量构建“eigenlip”,然后使用SCHMM构建说话人模型。实验结果表明直接使用图像表观特征进行身份识别时,图像的信息贡献度随视角的变化而变化。然后使用嘴唇运动轨迹的作为特征,通过嘴唇轮廓的运动曲线和曲线的高阶信息的结合,利用曲线相关度模型,分别针对文本有关和文本无关进行身份识别。最后我们引入了时空体的概念,从时间轴和嘴唇上下运动方向轴获取时空体切片,用直方图提取全局特征,进行直方图特征连接,模型构建采用SVM方法。

关键词：多视角身份识别嘴唇运动特征提取

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：