检索结果-南通市图书馆

单目图片下三维人脸人体重建的频域学习和补全方法研究

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

单目图片下三维人脸人体重建的频域学习和补全方法研究

作者：李妍妍广州大学

学位级别：硕士

使用单张图片进行三维人脸人体重建无需对图片进行对齐和融合,具有更高的实用性。与身体其他部位相比,人脸的面积和运动范围相对较小,重建效果易受到遮挡、光照等因素的影响。因此,单独对人脸和人体进行重建可以还原各自的细节特征,并... 详细信息

使用单张图片进行三维人脸人体重建无需对图片进行对齐和融合,具有更高的实用性。与身体其他部位相比,人脸的面积和运动范围相对较小,重建效果易受到遮挡、光照等因素的影响。因此,单独对人脸和人体进行重建可以还原各自的细节特征,并更好地适用于不同应用场景。但当图片中人脸存在大遮挡或人体穿着宽松衣物时,重建结果往往不如预期。为此,本文提出了一种基于单目图片的三维人脸频域学习方法,并将其思路进一步扩展到人体重建,以提高三维人脸人体重建的精度。本文首先提出了一种用于人脸重建的空频解耦弱监督方法,该方法利用了空间域的图像级和感知级监督损失,并且在频域上分离了输入图像和渲染图像的频率信息,用于构建基于频率的损失函数。具体地,本文设计了一个频谱加权的翼损失函数,以实现在不同频谱上的平衡,更好地学习重建过程。通过空间频率解耦的弱监督,仅使用人脸地标即可生成细节纹理和高质量形状。本研究对AFLW2000和Now Challenge两个常用数据集上的五种人脸重建算法进行了全面性能评估。定性和定量指标的评估表明,本方法在绝大多数人脸重建方法中表现出色,能够产生高质量的人脸重建效果。接着借助流形谐波,本文将频域在三维人脸重建上的研究扩展到人体,提出了一种基于频域的三维人体补全方法,该方法对法线积分出的有洞三维人体先进行线性插值,然后使用流形谐波基投影到合适维度的频域空间,通过拉普拉斯网格编辑将插值点进行替换,从而得到一个完整精细的三维人体。相比于其他重建方法,法线积分不受模版人体的限制也摆脱了行进立方体算法的精度限制,重建出更细节的特征。通过将人体投影到低维频域空间进行局部补全的方法,避免了插值带来的过平滑现象以及泊松重建的鼓包现象,很好地填补了有洞区域并尽可能保持了人体网格光滑度的一致性。概括来说,本文提出了一种空频解耦弱监督方法用于人脸重建,以及一种基于频域的三维人体补全方法,通过法线积分和流形谐波基实现人体重建和局部补全。实验结果表明,这些方法可以生成高质量的人脸和人体,具有更完整更细节的特征。

关键词：人脸重建人体重建频域损失法线积分流形谐波

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

生成对抗网络数据扩增下的病理语音识别研究

生成对抗网络数据扩增下的病理语音识别研究

作者：钱金阳苏州大学

学位级别：硕士

语音由整个发声系统多器官联合运动所产生,任一器官中的微小病变都会导致语音在音量、音调、共振和发音清晰度等方面发生异常而使语音呈现出病理性。近年来,由于人们生活习惯不规律、社会老龄化严重等问题,人群中病理语音的发生概率正... 详细信息

语音由整个发声系统多器官联合运动所产生,任一器官中的微小病变都会导致语音在音量、音调、共振和发音清晰度等方面发生异常而使语音呈现出病理性。近年来,由于人们生活习惯不规律、社会老龄化严重等问题,人群中病理语音的发生概率正在逐渐升高,多种病理语音的识别技术与应用应运而生。然而现有研究基本都基于已有的数据库开展相关研究,受限于采集难度与患者隐私等问题,通用病理语音数据库内样本量相比于正常语音数据库远远不足,这也导致了病理语音分类与识别难度大、效果不佳的问题。数据扩增技术通过生成更多训练数据优化模型性能,已在语音、图像的多个领域取得了应用。因此使用数据扩增技术缓解病理语音数据库中的小数据量问题是进一步提升病理语音识别效果的重要途径。由于传统的病理语音数据扩增方法基于既定规则,扩增的语音在高维空间容易发生聚集从而导致生成语音缺乏多样性。而基于生成对抗网络(Generative Adversarial Networks,GAN)的扩增方式可以直接从随机信号中采样得到所需数据,生成语音更多样。因此本文针对病理语音分类与识别中的小数据量问题,重点研究了基于生成对抗网络的病理语音数据扩增方法,提出了基于频域损失的扩张卷积生成对抗网络(Dilated Convolutional GAN with Frequency Loss,DFGAN),并以所提网络为基础构建了数据扩增下的病理语音识别系统。本文提出的基于频域损失的扩张卷积生成对抗网络综合考虑了现有模型中网络结构与损失函数两方面的缺点。首先从现有模型结构难以捕获语音信号多尺度特征的缺点出发,使用多尺度的扩张率捕获病理语音特征,引入辅助特征指导病理语音生成过程,并结合多种网络训练优化方法实现了随机变量到病理语音信号的直接建模。然后从现有生成对抗网络的损失函数未考虑病理语音频域能量高频迁移的缺点出发,在所提扩张卷积生成对抗网络中设计了自适应频域能量函数捕获不同频带上的能量,以此确定生成语音与原始语音损失计算时的各频带损失所占比例,给出了对抗损失与所提自适应频域损失的联合优化流程。所构建的数据扩增下病理语音识别系统包括基于所提模型的数据扩增模块和后端的识别模块。数据扩增模块采用训练集数据训练所提生成对抗网络模型并生成扩增数据,后端识别模块则采用训练集和扩增集数据训练病理语音分类器和端到端的语音识别模型,交叉验证的测试集识别结果作为最终识别结果。为充分验证所提模型对病理语音分类与识别性能的提升,在四个国际通用的病理语音数据库上进行实验。在正常语音和病理语音间的分类识别实验中,本文所提方法在准确率上平均提高了 4.16%,且对于原始准确率较低的语音改善更明显。在基于端到端模型的病理语音到文字的识别实验中,所提方法综合降低了 2%～6%的词错误率,且对低可懂度病理语音识别效果改善更明显。在与已有数据扩增方法的对比实验分析中,证实了所提方法对小数据量下的病理语音识别研究的贡献。

关键词：语音识别病理语音数据扩增生成对抗网络频域损失

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

图像人脸替换及其在孤独症干预系统中的应用

图像人脸替换及其在孤独症干预系统中的应用

作者：刘冉华中师范大学

学位级别：硕士

图像人脸替换,即把目标图像中的人脸替换为源图像中的人脸,而保持目标图像中人脸的面部表情和头部姿态等信息不变的过程。图像换脸可以被应用到许多领域,比如影视、商业、隐私保护、儿童孤独症治疗。随着深度学习和计算机视觉领域的发展... 详细信息

图像人脸替换,即把目标图像中的人脸替换为源图像中的人脸,而保持目标图像中人脸的面部表情和头部姿态等信息不变的过程。图像换脸可以被应用到许多领域,比如影视、商业、隐私保护、儿童孤独症治疗。随着深度学习和计算机视觉领域的发展,图像人脸替换已经取得了相当程度上的进展。但是当前方法仍然存在图像纹理处理的不够好、训练过程不稳定、训练要求高等问题。针对这些问题,本论文提出了一种基于生成对抗网络的图像换脸算法,并将其应用到了儿童孤独症干预系统之中。本文的主要工作总结如下:（1）本文提出了一种融合判别器约束和频域损失的图像换脸算法。针对基于生成对抗网络的图像换脸算法存在的训练过程不稳定和训练要求高等问题,本文引入了判别器约束技术,从而增加了训练稳定性,减少了训练要求。但是引入判别器约束技术也降低了判别器的判别能力,从而导致模型生成的换脸结果中来自源图像的身份信息不明显,因此本文又使用频域损失生成器生成的换脸图像进行了约束,解决了该问题。最后本文通过调整生成器当中的融合层改善了身份信息和属性信息的融合效果,改善了模型生成换脸图像的肤色和轮廓等纹理问题。相比之前的工作,本文所提出的换脸算法在不造成换脸效果变差的同时降低了 80%的训练计算量。（2）针对儿童人脸相似度更高和五官更加明显的特点,本文增加了所提出的图像换脸算法的训练损失中身份损失和属性损失的权重。同时由于使用了成人数据集上训练好的模型作为预训练模型,本文降低了训练损失中的频域损失权重。经过调整后在儿童数据集上训练得到的模型可以得到更好的儿童换脸图像。（3）设计了基于图像换脸的孤独症儿童干预系统。基于破镜理论,孤独症儿童在进行模仿学习等方面存在障碍。通过将干预视频中的人脸替换为需要被干预的孤独症儿童的人脸,可以让他们把干预视频中的人当成自己,规避破镜缺陷,从而增加干预效果。本文通过结合判别器约束技术和频域损失提高了模型训练的稳定性,降低了训练设备要求和训练时间,并将其迁移到了儿童图像换脸领域。之后考虑到孤独症儿童在模仿学习方面存在的问题,基于儿童图像换脸模型设计了相应的干预系统。

关键词：人脸替换生成对抗网络自编码器人脸识别判别器约束频域损失儿童换脸系统

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于类别特征增强的红外场景语义分割网络

基于类别特征增强的红外场景语义分割网络

作者：李端阳南京理工大学

学位级别：硕士

随着智能化时代的到来,人们对成像产品智能化的需求越来越大,例如智能驾驶和无人安防等领域依赖的是车载和机载成像平台的智能化产品。其中,图像分割技术作为实现智能化产品的重要研究方向,通过对场景的语义信息进行分析,分割场景中的... 详细信息

随着智能化时代的到来,人们对成像产品智能化的需求越来越大,例如智能驾驶和无人安防等领域依赖的是车载和机载成像平台的智能化产品。其中,图像分割技术作为实现智能化产品的重要研究方向,通过对场景的语义信息进行分析,分割场景中的目标和背景,帮助智能化产品的落地与发展,得到了广泛的关注与重视。同时,人们对于场景分割的需求不仅仅是在可见光场景,红外夜间场景的需求也非常迫切。然而,由于车载和机载场景的复杂度高,目标多且难以分辨,并且因为红外成像的特性,会造成目标边缘弱,灰度分布不均匀,导致红外车载场景的分割精度难以提升。因此,本文针对车载和机载场景下的红外图像进行语义分割技术上的研究,主要的研究工作如下:红外车载场景复杂,且红外图像细节部分丢失,一般的图像分割算法难以满足任务对精度的需求。本文针对分割目标边缘时容易出现的分类错误问题,设计了基于类别原型回归的场景理解网络:CPRNet。网络提出了类别原型回归损失函数,通过增强类别内的特征相关性,拉近类内距离,从而对图像深度特征进行增强,提升图像细节。同时,在红外车载场景中,图像细节在空间上的分布也尤为关键。因此,CPRNet中还设计了基于类别原型回归的空间和类别上的注意力机制,通过对深度特征进行空间维度和类别特征维度上进行相关性加权,提升特征的表征能力,进一步提升网络在红外车载场景中的分割精度。相比于改进前的基准网络,提升了的4.37%准确率。红外机载平台场景具有目标小,边缘弱等特点,本文针对该类问题,设计了基于超分辨率重建的图像增强模块作为网络的输入部分,对图像中的目标进行尺寸和边缘细节上的优化,并设计了频域损失函数对图像增强模块进行了进一步的优化改进。得到的图像再通过语义分割网络进行迭代训练。同时,本文针对语义分割网络设计了边缘损失函数增强网络对边缘的注意力。最终实验表明,基于图像增强的语义分割网络在红外机载场景下,性能要优于一般的语义分割网络。相比较改进前的算法,准确率提升了4.95%。

关键词：语义分割类别原型回归注意力机制图像增强频域损失边缘损失