基于集成多尺度注意力的图像篡改定位

作     者：魏华建 严彩萍 李红 

作者机构：杭州师范大学信息科学与技术学院 杭州启源视觉科技有限公司 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2024年第08期

页      面：1237-1245页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61902102) 浙江省自然科学基金(LQ19F020004) 

主　　题：图像拼接定位 多尺度 空间通道关系 自注意力 

摘      要：近年来,基于卷积神经网络图像拼接篡改检测算法取得了相当的进展.然而,由于篡改对象的大小和类型不同,现有的大多数模型仍然不能取得令人满意的效果.针对这些问题,提出一种集成多尺度注意力的网络进行图像篡改定位算法.首先在编码器中添加多尺度的双注意力模块——位置注意力和通道注意力,其中,位置注意力模块通过捕捉任意2个特征图的位置关系获取特征图在空间维度上的语义信息依赖关系,使每个像素点均能感知其余位置像素点的信息;通道注意力模块采用与位置注意力相似的自注意力操作捕捉任意2个通道映射之间的关系,使像素点感知到其余通道像素点的信息.考虑到篡改目标大小不同,多尺度注意力模块将特征图划分为多个子区域,在捕获长程语义信息依赖关系的同时也能适应各种形状大小的篡改区域,可以更好地处理不同尺度的拼接篡改图,降低高分辨率特征图的计算开销.在公开数据集CASIA上进行实验的结果表明,所提算法得到的F1和IoU值分别达到62.3%和61.2%,比其他现有算法有明显提升.