检索结果-南通市图书馆

AIGC 视频生成技术在数字媒体设计与制作邻域的应用研究

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

改进的自监督生成对抗网络算法在视频生成中的应用

设计 2024年第3期9卷 941页

作者：刘佳琦吉利学院，艺术设计学院，四川成都

本研究以数码媒介的设计和生产邻居为起点，探索了将人工智能技术运用到视频创作中去，通过深入分析深度学习和计算机视觉的进步对视频生成的影响，文章论述了AIGC是如何通过提高效率，降低成本，扩大创新的范围，给使用者提供更加丰富... 详细信息

本研究以数码媒介的设计和生产邻居为起点，探索了将人工智能技术运用到视频创作中去，通过深入分析深度学习和计算机视觉的进步对视频生成的影响，文章论述了AIGC是如何通过提高效率，降低成本，扩大创新的范围，给使用者提供更加丰富多彩的视听感受的。研究方法上，采用文献综述和案例分析相结合的方式，对AIGC技术在视频制作方向的应用现状和发展趋势进行了深入剖析。研究表明，AIGC在数码媒介的设计和生产中有着很大的发展空间。最后，本研究指出视频生成技术是数字媒体设计与制作领域的重要发展趋势，会在将来发挥越来越大的作用，给数码媒介的创造者提供更多创造性的可能和机遇。

关键词： AIGC技术视频生成数字媒体设计与制作创作体验机遇 AIGC Technology Video Generation Digital Media Design and Production Creative Experience Opportunities

来源：博看期刊评论

在线全文

博看期刊

学校读者我要写书评

暂无评论

信息记录材料 2024年第8期25卷 144-146页

作者：康金龙许涛张华岭宫胜西北大学经济管理学院陕西西安710000

时序特征提取是视频生成领域具有挑战性的任务之一。本文提出一种改进的自监督时空特征学习的视频生成对抗网络(self-supervised spatio-temporal feature learning video generative adversarial networks,SSFLVGAN)算法来提升模型的性能,对于判别器网络的3D CNN模块,在其前四层卷积网络后增加了3D平均池化层AvgPool3d,以减少模型参数,从而实现合成视频和真实视频有效判别,以及帧之间运动时序关系是否正确的有效识别。与基准算法比较,SSFLVGAN算法在结构相似性指数和峰值信噪比评价指标上的效果更好,生成的视频更加逼真、更加合理。

关键词：时空特征提取视频检索视频分析视频生成

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

数字说话人视频生成综述

计算机辅助设计与图形学学报 2023年第10期35卷 1457-1468页

作者：宋一飞张炜陈智能姜育刚复旦大学计算机科学技术学院上海200438 京东探索研究院北京100101

近年来,基于深度学习的生成技术显著推动了虚拟数字人技术的发展.针对当前虚拟数字人研究中的热点问题——数字说话人视频生成进行综述,其在电影配音、动画制作、虚拟助手等场景中具有重要的应用前景.文中从数据集、关键技术、评估策略... 详细信息

近年来,基于深度学习的生成技术显著推动了虚拟数字人技术的发展.针对当前虚拟数字人研究中的热点问题——数字说话人视频生成进行综述,其在电影配音、动画制作、虚拟助手等场景中具有重要的应用前景.文中从数据集、关键技术、评估策略3个方面,对数字说话人视频生成技术及研究现状做了较系统的梳理与总结,介绍了其生成过程中涉及的视觉生成、图像识别、语音识别、跨模态分析等多项人工智能的关键技术机器发展演进过程;从数据、模型、评估策略等方面指出该方向需要迫切解决的问题,并通过这些问题展望其未来的发展方向,以期能对该领域的研究者有所帮助和启发,促进该方向的发展.

关键词：虚拟数字人数字说话人视频生成多模态融合深度学习

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于音频驱动的视频生成算法研究

基于音频驱动的视频生成算法研究

作者：李孟伟河南大学

学位级别：硕士

近年来,随着人工智能技术日新月异的发展,从音频信息到视觉信息的跨模态视频生成研究得到了广泛关注。基于音频驱动的视频生成模型为计算机视觉和智能感知提供了很多的应用场景,比如多媒体内容生成,电影制作等。基于音频驱动实现的视频... 详细信息

近年来,随着人工智能技术日新月异的发展,从音频信息到视觉信息的跨模态视频生成研究得到了广泛关注。基于音频驱动的视频生成模型为计算机视觉和智能感知提供了很多的应用场景,比如多媒体内容生成,电影制作等。基于音频驱动实现的视频生成任务,主要分为一般场景视频生成和说话人视频生成。音频信息提取和多模态特征融合是从音频到视频生成两个最重要的任务。音频信息提取阶段:通过对音频文件的特征提取,对音频进行多维度特征信息提取及编码处理。多模态特征融合阶段:将视觉信息与音频信息建立关联,通过特征融合模型实现从音频到视频的生成任务。本文首先介绍了基于音频驱动的视频生成算法研究现状,并着重对基于音频驱动的神经辐射场视频生成算法进行详细的阐述。然后以音频特征处理和基于音频驱动的神经辐射场表示两方面为切入点,完成基于音频驱动的视频生成算法研究。以下是本文的主要研究工作:对于音频特征处理方面进行了详细的研究和描述。首先介绍了对于音频驱动视频生成的理解以及传统音频特征处理和训练方法的理论研究,然后提出针对梅尔倒谱系数特征(Mel-Frequency Cepstral Coefficients,MFCC)的音频特征处理网络,并通过具有自注意力机制思想的卷积神经网络,为连续的音频特征训练一个时间滤波器,从而产生时间上稳定的音频特征表达。其中音频特征处理网络采用时间窗口大小为16帧的连续音频特征,并基于卷积神经网络实现从特征空间到潜在表达空间的映射网络。对于视频生成方面进行了详细的理论探索和实验研究,基于标准的神经辐射场算法(Neural Radiance Fields,Ne RF)提出了基于音频驱动的神经辐射场表示,并将该算法命名为GS-VGM。同时,使用Ne RF算法和GS-VGM,分别对一般场景视频进行训练,实验结果表明,GS-VGM的峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)相比Ne RF提升了24.7%,训练速度也提升了1.2倍。使用AD-Ne RF(Audio Driven Ne RF)算法和GS-VGM,分别对说话人场景视频进行训练,实验结果表明,GS-VGM的PSNR值比AD-Ne RF算法提升了11.3%,训练速度提升了2.4倍。另外,GS-VGM不受视频分辨率和时间长度的限制,具有较强的鲁棒性。

关键词：深度学习音频驱动自注意力机制神经辐射场视频生成

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于语音驱动的人脸视频生成

基于语音驱动的人脸视频生成

作者：洪学敏浙江理工大学

学位级别：硕士

人脸视频生成是计算机视觉中的研究热点,有着广泛的应用场景。语音驱动的人脸视频生成是指通过视觉与听觉双模态的输入来生成唇音同步的高自然度人脸视频。人脸视频生成任务的主要挑战是如何在保证人脸面部真实性的同时,生成语音同步且... 详细信息

人脸视频生成是计算机视觉中的研究热点,有着广泛的应用场景。语音驱动的人脸视频生成是指通过视觉与听觉双模态的输入来生成唇音同步的高自然度人脸视频。人脸视频生成任务的主要挑战是如何在保证人脸面部真实性的同时,生成语音同步且连贯的人脸视频。传统的人脸视频生成方法主要采用了基于卷积神经网络的自编码器模型,使用视频和音频的联合嵌入作为输入,并通过视频编码器和音频编码器分别进行特征提取,再将提取到的视频人物特征以及音频特征输入到解码器中,最终生成说话人脸的视频帧。现存在的问题是:首先,传统方法仅用L1损失来训练模型,容易出现生成人物面部图像较模糊、视觉质量不佳等问题;其次,传统方法仅将其考虑为多个单帧的视频生成,而不考虑视频帧间的时序关系,从而导致生成的视频存在不连贯性,且容易出现像素抖动等问题。针对上述问题,本文提出高质量唇音同步的生成对抗网络来完成人脸视频的生成任务,其中包括基于Dense Net的视觉质量判别器和基于LSTM-CBAM的音视频同步判别器,本文的主要创新工作如下:（1）提出了基于Dense Net的视觉质量判别模型,辅助生成更高质量的人脸视频。本文采用生成对抗网络作为人脸视频的生成方法,模型包含一个生成器和一个视觉质量判别器。生成器由自编码器构成,通过编码器对音频和视频进行特征编码,再由解码器重构出新的视频。视觉质量判别器采用Dense Net,用前馈方式将每一层都与其他层相连来提高特征重用,并使用L1损失和交叉熵损失共同约束训练模型,从而生成更高质量的人脸视频。本文在LRS2数据集上进行实验分析,结果表明加入Dense Net的视觉质量判别器生成的视频帧FID值降低了4.8%。（2）提出了基于LSTM-CBAM的音视频同步判别模型,辅助生成唇音同步的人脸视频。音视频同步判别器中利用LSTM模块来学习不同时刻下输入音频数据之间的联系,编码训练数据中的音频信息,并利用CBAM模块从通道和空间两个维度依次推断出注意力映射,对音频信息和嘴唇区域特征细化,从而判断口型与音频同步情况。本文在LRS2数据集上进行实验,结果表明加入LSTM模块和CBAM模块的音视频同步判别器生成的视频,准确率相比现有模型提高了6.89%。（3）提出了高质量唇音同步的生成对抗网络模型,生成真实自然的唇音同步人脸视频。该模型结合了基于Dense Net的视觉质量判别器和基于LSTM-CBAM的音视频同步判别器方法来完成人脸视频生成任务,通过生成对抗方法解决了传统方法生成的视频模糊问题,通过预训练的同步判别器解决了视频帧之间的不连贯问题。在LRS2和LRW数据集上进行实验,结果表明加入视觉质量判别器和音视频同步判别器有更出色的生成效果。

关键词：视频生成语音驱动生成式对抗网络唇音同步生成任务

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多模态输入的对抗式视频生成方法

计算机研究与发展 2020年第7期57卷 1522-1530页

作者：于海涛杨小汕徐常胜合肥工业大学计算机与信息学院合肥230031 模式识别国家重点实验室(中国科学院自动化研究所) 北京100190

视频生成是计算机视觉和多媒体领域一个重要而又具有挑战性的任务.现有的基于对抗生成网络的视频生成方法通常缺乏一种有效可控的连贯视频生成方式.提出一种新的多模态条件式视频生成模型.该模型使用图片和文本作为输入,通过文本特征编... 详细信息

视频生成是计算机视觉和多媒体领域一个重要而又具有挑战性的任务.现有的基于对抗生成网络的视频生成方法通常缺乏一种有效可控的连贯视频生成方式.提出一种新的多模态条件式视频生成模型.该模型使用图片和文本作为输入,通过文本特征编码网络和运动特征解码网络得到视频的运动信息,并结合输入图片生成连贯的运动视频序列.此外,该方法通过对输入图片进行仿射变换来预测视频帧,使得生成模型更加可控、生成结果更加鲁棒.在SBMG(single-digit bouncing MNIST gifs),TBMG(two-digit bouncing MNIST gifs)和KTH(kungliga tekniska h?gskolan human actions)数据集上的实验结果表明:相较于现有的视频生成方法,生成结果在目标清晰度和视频连贯性方面都具有更好的效果.另外定性评估和定量评估(SSIM(structural similarity index)与PSNR(peak signal to noise ratio)指标)表明提出的多模态视频帧生成网络在视频生成中起到了关键作用.

关键词：深度学习视频生成视频预测卷积神经网络生成对抗网络

基于LSTM-CBAM的音视频同步人脸视频生成

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

智能计算机与应用 2023年第5期13卷 151-155页

作者：洪学敏张海翔浙江理工大学信息学院杭州310018

语音驱动的人脸视频生成是指通过视觉与听觉双模态的输入来生成唇音同步的高自然度人脸视频。人脸视频生成任务的主要挑战是如何在保证人脸面部真实性的同时,生成语音同步且连贯的人脸视频。传统方法仅将其考虑为多个单帧的视频生成,而... 详细信息

语音驱动的人脸视频生成是指通过视觉与听觉双模态的输入来生成唇音同步的高自然度人脸视频。人脸视频生成任务的主要挑战是如何在保证人脸面部真实性的同时,生成语音同步且连贯的人脸视频。传统方法仅将其考虑为多个单帧的视频生成,而不考虑视频帧间的时序关系,从而导致生成的视频存在不连贯性,容易出现像素抖动问题。本文提出了基于LSTM-CBAM的音视频同步生成模型来生成唇音同步的人脸视频,通过LSTM模块处理音频数据,可以对音频数据进行更好地特征编码,通过CBAM模块来推断网络中的注意力映射,可以实现对音频信息与人脸口型信息的特征细化,从而生成音频与人物口型同步的视频。实验结果表明,本文生成的人脸视频连续自然,指标较优。

关键词：视频生成语音驱动生成式对抗网络

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于SMPL的人物视频生成算法

智能计算机与应用 2023年第7期13卷 71-75页

作者：范沈伟李国平王国中上海工程技术大学电子电气工程学院上海201620

人物视频的生成需要人物外观和人物运动两部分信息。现有算法大都使用人物关键点在2D平面内的运动趋势作为运动信息,生成视频的视角只能是固定的。为了生成多视角的人物视频,提出了基于SMPL的人物视频生成算法。算法首先使用NERF配合SMP... 详细信息

人物视频的生成需要人物外观和人物运动两部分信息。现有算法大都使用人物关键点在2D平面内的运动趋势作为运动信息,生成视频的视角只能是固定的。为了生成多视角的人物视频,提出了基于SMPL的人物视频生成算法。算法首先使用NERF配合SMPL人体模型对人物进行3D建模,获取人物外观信息。随后,提取驱动视频中的SMPL人体模型参数作为人物的运动信息,驱动静态的人物3D模型。最后,使用NERF中的体渲染技术将人物3D模型映射到2D平面内,得到最终的人物视频。得益于SMPL模型的特点,生成的视频不仅可以任意切换视角,还可以任意修改人物的体型。

关键词： SMPL NERF 视频生成

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于音频驱动的视频生成设计与实现

基于音频驱动的视频生成设计与实现

作者：李雨思电子科技大学

学位级别：硕士

人脸作为人类最具表现力和个性化的外在特征,是人们在相互沟通交流过程中用来表达情感的直接载体。面部表情和唇部姿态相结合,可以传递更多有效的信息,从而大幅度提升人们对语言的理解。口型与语音的同步很大程度上决定了人脸动画的优劣... 详细信息

人脸作为人类最具表现力和个性化的外在特征,是人们在相互沟通交流过程中用来表达情感的直接载体。面部表情和唇部姿态相结合,可以传递更多有效的信息,从而大幅度提升人们对语言的理解。口型与语音的同步很大程度上决定了人脸动画的优劣,所以借助音频中讲话人的音调、情感等因素,可生成逼真自然的人脸说话视频。音频驱动的人脸视频生成技术可以提高在线教育辅导、媒体新闻播报、影视剧编辑修正、大型三维游戏制作等方面的制作效率,提升用户视听层面的感受,为制作方和用户双方节省不必要的时间开销。因此,基于音频驱动人脸视频生成技术是目前比较具有现实意义和价值的研究。针对以上背景,本文将基于音频驱动的视频生成方法进行研究与设计,人脸说话视频包含三个流程模块,分别为:基于弱监督学习的三维人脸重构、基于音频驱动的人脸图像生成以及基于音频驱动的视频生成,使生成的人脸说话视频具备音视同步且人脸逼真自然的效果。论文主要完成以下工作:1.研究三维人脸重构方法,基于弱监督学习设计并实现输入人脸的三维人脸重构,此方法不使用额外的标签信息,将检测得到的人脸关键点位置信息作为弱监督信号,通过对参数提取网络的学习训练,最终得到与输入图像相似的三维人脸图像。2.研究音频信息与人脸图像间的相关性,设计并实现了基于音频信息到人脸表情和姿态参数的映射网络,该网络采用长短期记忆网络的原理,使参数间的映射更加准确。将得到的人脸表情和姿态参数与保存的三维人脸参数相融合,最终生成含有目标口型的人脸图像。3.研究人脸图像与视频帧背景间的匹配方法,提出一种可保证生成视频中含有自然人脸姿态的背景帧匹配方法,可对输入视频中局部人脸姿态进行保留,使生成的人脸视频帧足够自然。4.研究人脸视频生成方法,基于生成对抗网络的原理,提出一种可针对局部图像进行风格迁移的网络模型及损失函数,使生成的人脸视频帧自然逼真,生成的人脸视频流畅清晰。

关键词：人脸动画视频生成对抗训练语音驱动