基于Lmser-in-Lmser双向网络的人脸素描图像生成方法
Face Sketch Synthesis Based on Lmser-in-Lmser Bidirectional Network作者机构:上海交通大学电子信息与电气工程学院上海200240
出 版 物:《模式识别与人工智能》 (Pattern Recognition and Artificial Intelligence)
年 卷 期:2022年第35卷第7期
页 面:589-601页
核心收录:
学科分类:1305[艺术学-设计学(可授艺术学、工学学位)] 13[艺术学] 08[工学] 081104[工学-模式识别与智能系统] 0804[工学-仪器科学与技术] 0714[理学-统计学(可授理学、经济学学位)] 081101[工学-控制理论与控制工程] 0701[理学-数学] 0811[工学-控制科学与工程]
基 金:国家科技部科技创新2030-新一代人工智能重大项目(No.2018AAA0100700) 上海市科委人工智能重大项目(No.2021 SHZDZX0102)资助
主 题:人脸素描图像生成 深度双向网络 Lmser 神经元对偶 层次神经元对偶性
摘 要:人脸素描图像生成问题目的是将人脸照片转换为对应的素描图像,已有方法生成的素描图像或缺乏素描纹理,或需要在额外的大规模数据集上进行预训练.针对上述问题,文中基于Lmser(Least Mean Square Error Reconstruction)构建内外嵌套的深度双向网络,即Lmser-in-Lmser双向网络,用于人脸素描图像的生成.利用Lmser的神经元对偶特性,即编码神经元和解码神经元之间形成双向短路连接,在内部Lmser子网络的编码器和解码器之间通过前向传递不同网络层进行学习,得到多层级特征,增强素描生成的纹理细节.同时建立具有同样结构的网络,反向建立素描映射到照片的模型.外部通过在2个Lmser子网络上施加一致性约束,实现反馈链接,改善素描特征.在基准数据集上的实验表明,文中方法性能较优,并且不需要在额外的数据集上进行预训练,可应用性较强.