基于Lmser-in-Lmser双向网络的人脸素描图像生成方法

作     者：盛庆杰 苏锐丹 涂仕奎 徐雷 SHENG Qingjie;SU Ruidan;TU Shikui;XÜLei

作者机构：上海交通大学电子信息与电气工程学院上海200240 

出 版 物：《模式识别与人工智能》 (Pattern Recognition and Artificial Intelligence)

年 卷 期：2022年第35卷第7期

页      面：589-601页

核心收录：

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 08[工学] 081104[工学-模式识别与智能系统] 0804[工学-仪器科学与技术] 0714[理学-统计学（可授理学、经济学学位）] 081101[工学-控制理论与控制工程] 0701[理学-数学] 0811[工学-控制科学与工程] 

基　　金：国家科技部科技创新2030-新一代人工智能重大项目(No.2018AAA0100700) 上海市科委人工智能重大项目(No.2021 SHZDZX0102)资助 

主　　题：人脸素描图像生成 深度双向网络 Lmser 神经元对偶 层次神经元对偶性 

摘      要：人脸素描图像生成问题目的是将人脸照片转换为对应的素描图像,已有方法生成的素描图像或缺乏素描纹理,或需要在额外的大规模数据集上进行预训练.针对上述问题,文中基于Lmser(Least Mean Square Error Reconstruction)构建内外嵌套的深度双向网络,即Lmser-in-Lmser双向网络,用于人脸素描图像的生成.利用Lmser的神经元对偶特性,即编码神经元和解码神经元之间形成双向短路连接,在内部Lmser子网络的编码器和解码器之间通过前向传递不同网络层进行学习,得到多层级特征,增强素描生成的纹理细节.同时建立具有同样结构的网络,反向建立素描映射到照片的模型.外部通过在2个Lmser子网络上施加一致性约束,实现反馈链接,改善素描特征.在基准数据集上的实验表明,文中方法性能较优,并且不需要在额外的数据集上进行预训练,可应用性较强.