基于姿势引导下的虚拟试穿网络

作     者：黄东晋 李晓敏 刘金华 李贞妍 HUANG Dongjin;LI Xiaomin;LIU Jinhua;LI Zhenyan

作者机构：上海大学上海电影学院上海200072 

出 版 物：《上海大学学报（自然科学版）》 (Journal of Shanghai University:Natural Science Edition)

年 卷 期：2024年第30卷第3期

页      面：491-502页

学科分类：08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：虚拟试穿 薄板样条变换 信息增强模块 网格变形约束项 

摘      要：针对现有的基于姿势引导下的虚拟试穿方法存在着服装纹理过度变形、生成的图像出现遮挡等问题,提出了一种基于姿势引导下的虚拟试穿网络(pose-guidedvirtualtry-on network,PG-VTON).首先,使用基于U-Net的网络对人物图像进行姿势转换,生成目标姿势下的人物解析图,引入信息增强模块提高解析图的准确性,减少试穿中的错误遮挡;然后,通过薄板样条变换(thin platespline,TPS)方法将目标服装变形为与人物身体相贴合的形状,引入网格变形约束项来保留目标服装的纹理和细节特征;最后,将解析图和变形服装结合起来,生成最终的虚拟试穿图像.实验结果表明,该方法不仅比Downto(downtothelast detail)网络试穿图像的平均结构相似性(structural similarity,SSIM)提高了2.83%,初始得分(inception score,IS)提高了6.74%,与其他最新的虚拟试穿方法相比减少了试穿过程中的错误遮挡,能生成更加清晰真实的结果.