联合遮挡约束与残差补偿的特征金字塔光流计算方法

作     者：范兵兵 何庭建 张聪炫 陈震 黎明 FAN Bing-bing;HE Ting-jian;ZHANG Cong-xuan;CHEN Zhen;LI Ming

作者机构：南昌航空大学无损检测技术教育部重点实验室江西南昌330063 中国科学院自动化研究所北京100190 

出 版 物：《电子学报》 (Acta Electronica Sinica)

年 卷 期：2023年第51卷第3期

页      面：648-657页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(No.61866026,No.61866025) 江西省优势科技创新团队计划(No.20165BCB19007) 江西省技术创新引导类计划项目(No.20212AEI91005) 江西省自然科学基金重点项目(No.20202ACB214007) 航空科学基金(No.2018ZC56008) 中国博士后科学基金(No.2019M650894) 江西省教育厅科学技术研究项目(No.GJJ210910) 江西省图像处理与模式识别重点实验室开放基金资助(No.ET202104413) 

主　　题：光流 遮挡约束 残差补偿 特征金字塔网络 深度学习 边缘保护 

摘      要：针对现有深度学习光流计算模型在运动遮挡和大位移等场景下光流计算的准确性与鲁棒性问题,本文提出一种联合遮挡约束与残差补偿的特征金字塔光流计算方法.首先,构造基于遮挡掩模的光流约束模块,通过预测遮挡掩模特征图抑制变形特征的边缘伪影,克服运动遮挡区域的图像边缘模糊问题.然后,采用特征图变形策略构建基于特征变形的光流残差补偿模块,利用该模块学习到的残差光流细化原始光流场,改善大位移运动区域的光流计算效果.最后,采用特征金字塔框架构建联合遮挡约束与残差补偿的光流计算网络模型,提升大位移和运动遮挡场景下的光流计算精度.分别采用MPI-Sintel(Max-Planck Institute and Sintel)和KITTI(Karlsruhe Institute of Technology and Toyota Technological Institute)数据集对本文方法和代表性传统光流计算方法、深度学习光流计算方法进行综合对比分析,实验结果表明本文方法相对于其他方法能够有效提升大位移和运动遮挡场景下的光流计算精度与鲁棒性.