基于多光谱数据和融合像素差卷积的壁画线稿提取

作     者：张换换 王慧琴 王可 王展 甄刚 贺章 ZHANG Huanhuan;WANG Huiqin;WANG Ke;WANG Zhan;ZHEN Gang;HE Zhang

作者机构：西安建筑科技大学信息与控制工程学院陕西西安710055 陕西省文物保护研究院陕西西安710075 陕西省考古研究院陕西西安710054 

出 版 物：《液晶与显示》 (Chinese Journal of Liquid Crystals and Displays)

年 卷 期：2024年第39卷第2期

页      面：146-156页

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 0810[工学-信息与通信工程] 13[艺术学] 08[工学] 081104[工学-模式识别与智能系统] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 081002[工学-信号与信息处理] 0811[工学-控制科学与工程] 

基　　金：陕西省自然科学基础研究计划(No.2021JM-377) 2022年度陕西省教师教育改革与教师发展研究项目 西安建筑科技大学自然科学专项(No.ZR21033) 

主　　题：线稿提取 光谱成像 像素差卷积 像素级平衡 壁画 

摘      要：使用现有边缘检测方法提取古代壁画的线稿,存在噪声干扰大且丢失信息较多的问题。本文提出一种融合像素差卷积的壁画最优波段线稿提取方法,利用最小噪声分离方法将壁画多光谱数据的有效信息和噪声分离,选择最优主成分波段进行线稿的提取。针对传统卷积提取图像梯度信息的问题,引入像素差卷积提高边缘检测的图像梯度信息。在侧输出网络加入尺度增强模块(SEM)丰富多尺度特征,同时针对像素级别不平衡引起的像素错误分类问题,设计了基于图像相似度的Dice损失函数策略,逐级最小化像素距离获得清晰图像边缘,并利用壁画数据集先验知识微调模型解决数据集不足的问题。实验结果表明,本文方法可以在壁画褪色和噪声较多的场景下提取出较为清晰的线稿,线稿图像的SSIM和RMSE均优于其他算法,分别提高了2%~10%和2%~4%;在公开数据集BIPED上对模型进行验证,所提方法的ODS和OIS较PiDiNet分别提高0.005和0.007。该方法对褪色及具有病害的壁画可以提取出清晰完整的线稿图像。