多模态硬币图像单应性矩阵预测

作     者：邓壮林 张绍兵 成苗 何莲 DENG Zhuang-lin;ZHANG Shao-bing;CHENG Miao;HE Lian

作者机构：中国科学院成都计算机应用研究所四川成都610041 中国科学院大学计算机科学与技术学院北京100049 深圳市中钞科信金融科技有限公司广东深圳518206 

出 版 物：《图学学报》 (Journal of Graphics)

年 卷 期：2022年第43卷第3期

页      面：361-369页

学科分类：08[工学] 081203[工学-计算机应用技术] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：单应性矩阵 图像配准 硬币 图像转换 多模态 

摘      要：对不同成像条件下拍摄的硬币图像进行配准是硬币表面缺陷算法的前置任务。然而,基于互信息的传统多模态配准方法速度慢、精度低,现有的通过基于深度学习的单应性矩阵预测方法实现的图像配准只适用于单模态的任务。为此,提出一种基于深度学习的适用于多模态硬币图像的单应性矩阵预测方法,进而使用预测的单应性矩阵完成图像配准。首先,使用单应性矩阵预测层预测输入图像对间的单应性矩阵,使用单应性矩阵对待配准图像进行透视变换;然后,使用图像转换层将透视变换后的待配准图像和目标图像映射到同一域,图像转换层可在推理时去除从而减少推理时间;最后,计算同一域下的图像间的损失,并进行训练。实验表明,该方法在测试集上的平均距离误差为3.417像素,相较于基于互信息的传统多模态配准方法5.575像素的平均距离误差降低38.71%。且配准单对图像耗时为17.74 ms,远低于基于互信息的传统多模态配准方法的6368.49 ms。