场景线稿动漫效果的自动上色算法

作     者：朱松 陈昭炯 叶东毅 ZHU Song;CHEN Zhaojiong;YE Dongyi

作者机构：福州大学数学与计算机科学学院福州350108 

出 版 物：《模式识别与人工智能》 (Pattern Recognition and Artificial Intelligence)

年 卷 期：2020年第33卷第8期

页      面：671-680页

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金项目(No.61672158) 福建省自然科学基金项目(No.2018J01798)资助 

主　　题：场景线稿 自动上色 条件生成对抗网络(CGAN) U型网络(U-Net) 残差网络 

摘      要：场景线稿具有线条语义多样化的特点,直接应用现有的人像线稿图自动上色算法对其着色容易出现上色错误或棋盘效应等结果失真的现象.针对上述问题,文中提出动漫效果自动上色算法.基于条件生成对抗网络,改进和增强人像线稿图自动上色算法中常用的U型网络(U-Net)生成器的结构,设计双层信息抽取的生成器网络(DIEU-Net),自动完成场景线稿到动漫效果的上色.DIEU-Net设计用于抽取场景线稿浅层显著信息的双卷积子模块(IESS).构建双层IESS与残差结构的集成模块,插入生成器的不同阶段,增强网络在与线稿关联的颜色、位置等重要特征上的全域学习能力,缓和网络加深带来的梯度消失等网络退化问题.同时采用“卷积+上采样操作替换U-Net生成器中原有的反卷积操作,抑制生成结果中棋盘效应的发生.实验表明,文中算法能较好地克服结果失真的问题,上色效果合理、自然,具有较好的应用推广性,可应用于多种类型景物线稿图的动漫上色.