检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

针对多姿态人脸的特征点定位算法研究

针对多姿态人脸的特征点定位算法研究

作者：张佳慧江南大学

学位级别：硕士

人脸特征点定位任务的目标是定位出人脸图像中五官等具有语义含义的特征点坐标。许多人脸图像分析技术,如人脸识别、头部姿态识别、三维人脸重建等,都需要人脸特征点定位作为中间步骤。人脸特征点定位工作发展至今,研究对象已经不仅仅... 详细信息

人脸特征点定位任务的目标是定位出人脸图像中五官等具有语义含义的特征点坐标。许多人脸图像分析技术,如人脸识别、头部姿态识别、三维人脸重建等,都需要人脸特征点定位作为中间步骤。人脸特征点定位工作发展至今,研究对象已经不仅仅局限于单一的仿真环境下采样的正面人脸图像,更包含了在无约束条件下采集的具有姿态、遮挡、光照等多重因素影响的人脸图像。尽管人脸特征点定位研究已经取得了丰硕的成果,但这些无约束样本依旧是研究的一项难点。人脸特征点定位的相关算法有多种不同的架构,其中使用最多的有两种:级联形状回归模型和高斯热图回归网络。其中级联形状回归模型的原理是在一个正面的、中性的初始人脸形状的基础上迭代更新,直至形状逼近真实人脸形状。由于受初始形状限制,这类模型在面对大姿态人脸图像时有很大的回归难度。高斯热图回归网络将回归目标改为坐标点的高斯分布图,提升了模型的空间泛化能力。但由于特征点之间的关联性没有得到有效表达,因此在面对姿态、遮挡等因素影响的人脸图像时,预测结果可能出现特征点四散的现象。本文分别针对这两类架构存在的问题,提出改进的方案,提升算法对姿态等无约束条件的鲁棒性。本文的主要工作如下:1、基于融合子空间和三维拟合的人脸特征点定位算法研究。考虑到基于级联形状回归模型的人脸特征点定位方法会受到初始形状的限制,本文研究了一种双层级联形状回归模型架构,其中第一层用于生成粗略对齐的初始形状,第二层基于上层输出的初始形状,实现更精准的人脸特征点定位。第一层的回归目标是本文定义的简化人脸形状,利用三维拟合法即可生成对应的完整人脸形状。先定位简化人脸形状是因为减少特征点的个数可以在一定程度上降低回归的难度。为了进一步提升简化人脸形状的预测精度,本文还引入了基于融合子空间的样本划分法,将样本依据融合特征划分成多个子集,同一子集中的样本在姿态上都具有一定的相似性,再分别对每个子集进行模型训练,提升整体的姿态鲁棒性。2、融合形状约束和高斯热图回归的人脸特征点定位算法研究。由于高斯热图回归网络对于人脸特征点之间的关联性表达较弱,本文将注意力图引入高斯热图回归网络中,以作为形状约束。该算法架构包含三部分,三维模型参数预测网络,注意力图生成器和高斯热图回归网络。其中三维模型参数预测网络以轻量级网络Mobile Net-v3为主干,目标是预测三维人脸模型的参数。本文还采用新的数据合成方法来提升模型的泛化能力。根据预测得到的三维人脸模型参数可以重建出与人脸图像初步拟合的三维人脸形状。注意力图生成器会将三维人脸形状投影至二维平面,连接特征点形成边界线图,再将边界线图转化成注意力图。高斯热图回归网络以HRNet为主干,将原始图像与注意力图的融合结果作为输入,实现从粗到精的人脸特征点定位。本文在300W、WFLW、COFW人脸特征点定位数据集上设计了多种消融实验以及与其它先进算法的对比实验。经多项实验数据证明,本文改进后的算法对大姿态、无约束的人脸图像的特征点定位具有更高的准确性和鲁棒性。

关键词：人脸特征点定位人脸对齐级联形状回归模型高斯热图回归网络 3DMM

3D Face Reconstruction from a Single Image Using a Combined PCA-LPP Method

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

Computers, Materials & Continua 2023年第3期74卷 6213-6227页

作者： Jee-Sic Hur Hyeong-Geun Lee Shinjin Kang Yeo Chan Yoon Soo Kyun Kim Department of Computer Engineering Jeju National UniversityJeju63243Korea School of Games Hongik UniversitySejong30016Korea Department of Artificial Intelligence Jeju National UniversityJeju63243Korea

In this paper, we proposed a combined PCA-LPP algorithm toimprove 3D face reconstruction performance. Principal component analysis(PCA) is commonly used to compress images and extract features. Onedisadvantage of PCA is local feature loss. To address this, various studies haveproposed combining a PCA-LPP-based algorithm with a locality preservingprojection (LPP). However, the existing PCA-LPP method is unsuitable for3D face reconstruction because it focuses on data classification and clustering.In the existing PCA-LPP, the adjacency graph, which primarily shows the connectionrelationships between data, is composed of the e-or k-nearest neighbortechniques. By contrast, in this study, complex and detailed parts, such aswrinkles around the eyes and mouth, can be reconstructed by composing thetopology of the 3D face model as an adjacency graph and extracting localfeatures from the connection relationship between the 3D model vertices.Experiments verified the effectiveness of the proposed method. When theproposed method was applied to the 3D face reconstruction evaluation set,a performance improvement of 10% to 20% was observed compared with theexisting PCA-based method.

关键词： Principal component analysis locality preserving project 3DMM face reconstruction face modeling

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

面向医疗整容的三维人脸重建与编辑系统

计算机系统应用 2022年第12期31卷 69-77页

作者：何龙健钟子乐邹大辉黄灿斌邓卓然梁艳华南师范大学软件学院佛山528225

针对医疗整容领域中客户在术前无法直观感受术后整容效果的问题,提出了面向医疗整容领域的三维人脸重建与编辑系统.该系统首先对用户上传的图片进行特征点标记,然后结合三维形变模型(3D morphable model,3DMM)对输入图像进行对齐,接着... 详细信息

针对医疗整容领域中客户在术前无法直观感受术后整容效果的问题,提出了面向医疗整容领域的三维人脸重建与编辑系统.该系统首先对用户上传的图片进行特征点标记,然后结合三维形变模型(3D morphable model,3DMM)对输入图像进行对齐,接着将处理后的图像输入预先训练好的三维人脸重建网络中,便可得到输入图像所对应的三维人脸模型.系统对此模型进行加载渲染后,用户可以对模型的脸颊、鼻梁和下巴进行编辑以达到模拟整容的效果,之后可对模型进行保存并查看诊断结果.最后,对重建效果、整形效果和诊断结果可靠性进行测试.实验结果表明,该系统对中青年人脸的重建效果好,重建模型与输入图片相似度高;对模型整形后的部位依然保持平滑自然,达到了模拟整容的效果;在给定正确的人脸尺寸后,诊断结果给出的整形建议在毫米级范围内,说明了整形结果具有较高的可靠性.

关键词： 3DMM 弱监督学习三维重建三维文件加载模拟整容

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于神经网络的细节三维人脸重建

基于神经网络的细节三维人脸重建

作者：徐洪鑫山东师范大学

学位级别：硕士

随着计算机视觉几何学的发展,越来越多的研究人员寻求人脸蕴含的深度信息,所以研究的重心由2D平面的人脸图像转到3D向量空间的模型。3D向量空间中的人脸模型,由点云和点云之间相互连接的三角网格组成。在非限制场景下,人脸会受到光照,... 详细信息

随着计算机视觉几何学的发展,越来越多的研究人员寻求人脸蕴含的深度信息,所以研究的重心由2D平面的人脸图像转到3D向量空间的模型。3D向量空间中的人脸模型,由点云和点云之间相互连接的三角网格组成。在非限制场景下,人脸会受到光照,自遮挡等影响,重建的模型噪声多,对重建模型的部分顶点坐标预测的误差比较大。所以本文的方法中,使用了基于三维形变模型(3DMM)的Basel人脸模型(BFM)拟合平均人脸。针对人脸具有多重信息的特点,参数化的3DMM方法只需要输入多组简单的主成分分析参数,即可得到光滑3D模型。人脸对齐是人脸研究的基础算法之一。本文的方法可以在非限制场景下对大姿态的人脸图像进行人脸校准,校准后检测其人脸特征点,进而计算3DMM所需参数。特征点检测在某些情况会出现不准确的情况,所以本文通过一种神经网络对计算得到的参数进行二次处理,输出较完善的模型。本文研究了非限制场景下的姿态和表情人脸重建,提出的方法主要是人脸对齐和重建模型细节合成。本文方法主要是一种由多种子网络集成的神经网络来处理3D人脸重建问题。此网络将人脸重建的各步骤一体化,计算而得到的数据将在整个网络中共享,在保证精确度和鲁棒性的情况下,提高工作效率。而细节合成部分可以解决因使用主成分分析(PCA)算法而导致的信息损失。基于条件生成对抗性网络(CGAN)的细节合成网络负责处理细节,能够较好的处理特征图。细节合成网络输出移位贴图,移位贴图基于贴图技术,包含大部分的人脸细节。在实验部分,将本文提出的集成网络方法与其他先进方法进行数据对比。评估实验中,首先对重建模型和对比真实模型进行预处理,解决评估实验中可能影响到数值计算的一些问题。然后通过给出的评估标准对本文提出的集成网络进行评估。模型对比计算中,分别计算检测的特征点精确度以及限制性场景下的重建模型、非限制场景下的重建模型和模型鲁棒性评估四个实验的误差。数据结果表明,本文提出的方法对各场景下的人脸图像拟合度更高。

关键词：神经网络 3DMM 3D重建人脸对齐

基于深度学习的单幅图像三维人脸重建算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的单幅图像三维人脸重建算法研究

作者：张屹峰湖南大学

学位级别：硕士

近年来,三维人脸重建在计算机视觉领域一直是热点研究课题,在安防、医疗、影视等领域也有着愈加广泛的应用。精确的三维人脸重建技术依靠三维扫描设备,或是通过双目相机等利用视差关系来重建人脸的三维结构。不论是扫描设备还是双目相... 详细信息

近年来,三维人脸重建在计算机视觉领域一直是热点研究课题,在安防、医疗、影视等领域也有着愈加广泛的应用。精确的三维人脸重建技术依靠三维扫描设备,或是通过双目相机等利用视差关系来重建人脸的三维结构。不论是扫描设备还是双目相机都具有成本高且重建速度较慢的缺点,从而在实际生活的应用中十分困难。而基于视觉算法的单幅图像三位人脸重建成本低且重建速度相对较快,因此,单幅图像三维人脸重建成为了领域内的研究重点之一。本文根据对重建人脸模型的速度和质量侧重点不同的应用场景,研究并实现了两种单幅图像粗糙三维人脸重建算法,提出了一种单幅图像稠密三维人脸重建算法。粗糙三维人脸重建适用于辅助人脸识别、表情迁移、人脸交换等应用,本文研究并实现了以下两种重建算法:(1)基于参数模型的单幅图像三维人脸重建。以参数模型3DMM系数为基础,使用卷积神经网络从输入单张人脸图中预测包含位置信息的UV位置图,通过UV位置图完成二维到三维的转换,建立三维人脸模型。(2)基于立体像素的单幅图像三维人脸重建。将三维人脸模型的密集点云降采样到二值化立体像素空间,以68人脸关键点为正则项,通过卷积神经网络从输入人脸图中直接预测立体像素信息,从而建立三维人脸立体像素模型。该两种算法在世界公开人脸数据集上与领域内其它算法相比均表现出更高的准确性,并在重建大幅度姿态人脸图像时表现出较好的鲁棒性。稠密三维人脸重建适用于整形医疗、3D电影等对人脸模型质量要求较高的应用。受图像风格转换任务的启发,本文提出基于生成式对抗网络的稠密三维人脸重建算法,即通过生成式对抗网络,从输入人脸图预测其对应的深度图,完成像素到像素的预测回归。同时通过卷积神经网络回归3DMM系数,建立深度3DMM。其后,将深度3DMM与深度图中的深度信息相结合,得到一个含有人脸皱纹等细节的稠密三维人脸模型。算法同时还将采用的训练数据集进行了数据增强,最后与领域内较为先进的重建算法进行了实验的对比分析。结果表明,该算法相比领域内重建算法,在重建大幅度姿态人脸图像时,鲁棒性更高。在完成算法研究工作之后,本文将上述算法模型在Windows端集成开发成软件系统,即单目三维人脸重建系统。本文设计了软件系统的总体框架,详细介绍了稠密三维人脸重建、立体像素三维人脸重建及视频流三维人脸重建的开发和操作流程,实现了对任意清晰可见人脸图片的三维重建。

关键词：三维人脸重建 3DMM 卷积神经网络生成式对抗网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于单张图像的三维人脸重建技术研究

电子技术与软件工程 2022年第16期 148-151页

作者：侯珂尚梦莹郑州工业应用技术学院河南省新郑市451100

本文研究提出的使用UV空间表示人脸几何信息的方法,能够从单张二维人脸图像中直接回归出人脸的形状,并能够明确形态上每个点的语言信息,大大提高了三维人脸重建的效率及效果。经过在多个测试集上的定性分析与定量分析可知,本研究提出的... 详细信息

本文研究提出的使用UV空间表示人脸几何信息的方法,能够从单张二维人脸图像中直接回归出人脸的形状,并能够明确形态上每个点的语言信息,大大提高了三维人脸重建的效率及效果。经过在多个测试集上的定性分析与定量分析可知,本研究提出的方法不仅能够实现更高效的人脸几何信息重建,而且结果也更加精确。

关键词：单张图像三维人脸重建 3DMM 计算机图形学

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

人脸3D参数化模型及其渲染

人脸3D参数化模型及其渲染

作者：刘鹏南京大学

学位级别：硕士

随着计算能力的提升,三维采集设备的发展,人脸重建进入了一个新的时代。人脸重建可以应用于电影或动画制作、游戏、社交和购物等多个情景。人脸重建技术的发展,可以极大的促进三维行业的发展,提升用户在相关产品上的体验。本文基于轮廓... 详细信息

随着计算能力的提升,三维采集设备的发展,人脸重建进入了一个新的时代。人脸重建可以应用于电影或动画制作、游戏、社交和购物等多个情景。人脸重建技术的发展,可以极大的促进三维行业的发展,提升用户在相关产品上的体验。本文基于轮廓特征点的不同定位特征,将轮廓特征点中有误的对应关系单独处理。其中对于可见的一侧,本文利用轮廓特征点组成的曲线与模型上的特征点曲线间的对应关系,更新二维特征点位置;而对于自遮挡一侧,本文将模型投影到图片空间,并提取投影轮廓对应的模型顶点组成轮廓线,从而与二维特征点完成对应关系。以上处理并充分利用了特征点检测时得到的信息,因此能够更准确地拟合3DMM人脸外形。最后为了适应输入图片中的表情成分,本文使用拉普拉斯算符对模型进行变形。在此之后,使用MICC数据集作为对比时使用的人脸真实数据,与其它重建方法进行对比,并取得较好的效果。在上述人脸模型重建后,本文又对朗伯表面反射模型的渲染过程进行分析,给出一种基于Retinex假设等的逆向渲染过程的推导,从而将图像中更多细节信息提取出来。本文后续提出直接修改原模型坐标和法线贴图两种添加细节的思路,通过比较优劣,最终使用法线贴图的方式赋予人脸模型更多细节。法线贴图可以弥补模型本身无法表现较多细节的缺陷,也因此这种方法可以充分利用输入图像中的细节信息,并在渲染时给出带有丰富细节的视觉效果。输入图片进行人脸三维模型后,还可以进行人头的重建,以增强结果真实感。这一步使用了拉普拉斯算符来保持接缝处的法线方向平滑,使得到的人头接缝过渡更加自然。此外还可以为人头模型制作面片表示的头发,并转换为发丝模型用于渲染。通过以上后处理,可以使模型的真实感大幅增加。

关键词：人脸重建 3DMM 特征点更新法线贴图球谐光

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

三维人脸重建系统设计与实现

三维人脸重建系统设计与实现

作者：范佳丽大连理工大学

学位级别：硕士

现如今,随着科技的进步,我们的生活方式会随之被影响。在计算机视觉中,三维重建一直是最热门的研究方向之一,目前随着计算机技术的不断向前发展,三维建模更是凭借着自身的一些优势,正在得到更加广泛的应用。而人脸又是一个特殊的存在,... 详细信息

现如今,随着科技的进步,我们的生活方式会随之被影响。在计算机视觉中,三维重建一直是最热门的研究方向之一,目前随着计算机技术的不断向前发展,三维建模更是凭借着自身的一些优势,正在得到更加广泛的应用。而人脸又是一个特殊的存在,它作为我们人类情感表达、交流最直接并且也是最重要的载体。而且随着智能手机的普及,手机更是成为了人们出行必不可少的物品,逐渐在生活中占据了重要的地位,所以将他们结合起来是很有意义的。基于此本文设计并实现了基于移动Android端的三维人脸重建系统。本文设计了一种使用3DMM和改进残差网络修正3DMM的三维人脸重建算法,并应用该算法实现了一个以Android手机为客户端、主机为服务器的三维人脸重建系统。本文首先实现了一种在Android手机上的图像采集方法去获得二维人脸图像,接着使用开源OkHttp库实现客户端与Web服务器flask的通信,再在主机运用配置好的flask启动三维人脸重建程序,并且拿到最终重建完成之后的数据,接着利用OkHttp从flask处请求数据,将数据传输回客户端,最后便是在客户端使用OpenGL ES进行三维人脸的绘制。本文整体采用C/S架构,通过网络通信实现了客户端和主机服务端的数据传输,在局域网下保证了本文所提出的方法可以在Android手机上实时呈现。最后,本文通过在服务器端上的实验比对重建效果,可以看出本文提出的运用改进的残差网络修正3DMM的重建效果对比3DMM,利用了更多的细节信息,重建效果是有明显的改进的。并且运用此方法本文最终实现了在Android手机上拍摄一张照片便可以实时重建出一个三维人脸模型的系统。

关键词： Android系统 3DMM 三维重建残差网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

姿态变化的人脸识别问题研究

姿态变化的人脸识别问题研究

作者：漆薇北京工业大学

学位级别：硕士

近年来,深度学习在人脸识别领域的成功应用,推动了人脸识别技术的发展。但是这些人脸识别技术仍然无法在所有人脸识别应用中完美应用。实际应用中,姿态变化是影响人脸识别性能重要的因素之一。本论文针对人脸识别中姿态变化问题和单样... 详细信息

近年来,深度学习在人脸识别领域的成功应用,推动了人脸识别技术的发展。但是这些人脸识别技术仍然无法在所有人脸识别应用中完美应用。实际应用中,姿态变化是影响人脸识别性能重要的因素之一。本论文针对人脸识别中姿态变化问题和单样本问题进行研究。以单张标准正面姿态人脸图像进行注册,对一定范围内姿态变化的人脸图像进行识别。论文主要工作如下:提出了一种基于卷积神经网络输出概率加权的头部姿态估计方法。针对训练集人脸姿态类型有限的问题,提出了卷积神经网络多分类训练模型与softmax输出概率加权相结合的人脸姿态估计方法,实现对未训练的人脸姿态估计。实验结果表明,提出算法对于训练姿态估计误差1度左右,对于未训练姿态估计误差5度左右,基本满足应用需求。提出了一种基于3D模型生成姿态变化的虚拟图像的人脸识别框架。首先,提出了用3DMM方法将二维人脸重构成三维模型,利用论文所提出的姿态估计算法得到测试人脸的角度后,将模型旋转角度得到虚拟角度的人脸。最后,提出了ASIFT结合SSIM方法进行人脸识别的框架。提出算法在左右旋转的人脸图像上取得了出色结果。

关键词：姿态变化深度学习单样本 3DMM 人脸识别