草图引导下的人体姿态生成算法研究

作     者：吴欣蔚 

作者单位：西安理工大学 

学位级别：硕士

导师姓名：朱虹

授予年度：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：生成对抗网络 草图引导训练 预训练视觉辅助模型 弹性权重整合 FID分数 

摘      要：近几年,AIGC技术飞速发展,AI生成的内容正逐步进入人们的生活,改变人类社会的生产和生活方式。这一发展浪潮中,生成对抗网络得到了广泛的研究,在其生成能力快速增长的背后是复杂的网络设计、大规模的数据收集和昂贵的训练资源,从零开始训练一个生成对抗网络的难度不断增加。为此本课题从经过预训练的生成网络开始,研究草图引导下的训练流程。用户绘制一张草图,借助草图训练生成模型,经过训练后,生成模型能够生成符合草图姿态的丰富样本。 用户绘制的草图多种多样,给网络对草图中姿态语义的理解带来障碍,为了提高网络对用户绘制草图的适应能力,本文从辨别器和生成器两个方面进行研究。辨别器部分,使用大数据集上经过预训练的视觉模型对训练进行辅助,将其以辨别器的方式加入训练中,从而增强辨别器网络的辨别能力,减轻用户绘制草图风格、笔触、细节方面等对训练的影响。生成器部分,在训练映射网络的基础上,为中间向量上加上一个同维度的可学习的向量,为了防止其对映射网络的训练产生干扰,我们设置一较小的权重,以此帮助网络生成姿态更加符合的结果。 针对训练过程中出现的生成结果多样性下降的问题,本文引入增量学习领域中的弹性权重整合损失,根据参数的重要程度对参数的变化进行约束,以此减缓训练过程中的多样性下降速度。在此基础上,提出一种弹性权重损失的动态加入方法,在训练中对各个参数的重要性系数进行动态调整。结合对参数重要性系数和变化率的分析,对映射网络中的不同层采用不同的调整策略,以此提高生成内容的多样性与质量。 本文在风格人体高质量数据集SHHQ的基础上,构建了由相同姿态图像组成的测试数据集,用于代表真实的目标分布,从而更好地评估生成模型的性能。实验证明,本文提出的方法在测试数据集上的各项指标均有提高,验证了算法的有效性。