IA-pix2seq:一个实现简笔画可控生成的深度双向学习方法

作     者：臧思聪 涂仕奎 徐雷 ZANG Si-Cong;TU Shi-Kui;XU Lei

作者机构：上海交通大学计算机科学与工程系上海200240 

出 版 物：《计算机学报》 (Chinese Journal of Computers)

年 卷 期：2023年第46卷第3期

页      面：540-551页

核心收录：

学科分类：08[工学] 081203[工学-计算机应用技术] 0714[理学-统计学（可授理学、经济学学位）] 0701[理学-数学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家科技部科技创新2030-新一代人工智能重大项目(No.2018AAA0100700) 上海市科委人工智能重大项目(No.2021SHZDZX0102)的资助. 

主　　题：简笔画生成 编码自组织 贝叶斯阴阳和谐学习 深度双向智能系统 高斯混合模型 

摘      要：构建一个高斯混合模型(GMM)分布的编码空间是一种可辅助实现简笔画可控生成的编码方法.每种特定风格和类别的简笔画经过编码,被集中投影到GMM中的一个高斯区域中.通过选取不同高斯中的编码,可以可控地生成具有指定特征的简笔画.然而,现有方法在处理形态相似的简笔画时,所构建的GMM空间中,高斯区域间存在较大重叠.这降低了简笔画生成符合预期特征的准确率,即可控生成性能较差.本文以贝叶斯阴阳和谐学习算法为指导提出了IA-pix2seq深度双向学习模型.模型的双向互逆映射在和谐学习原理指导下,以最默契的方式达到最大共识,将同一高斯成分区域内的编码集中到相应的高斯中心,同时进一步约束了各简笔画在编码空间中的投影范围,从而扩大高斯成分间的边界并降低彼此间的重叠率.实验表明IA-pix2seq能有效降低不同类别简笔画因相似造成的编码重叠,以提高简笔画的可控生成性能.给定插值编码、将含像素缺失的简笔画作为约束,模型生成的简笔画仍能保留更多的预期特征.