珞珈三号01星视频智能插帧应用研究

作     者：王新晟 王密 潘俊 肖晶 李路 张昊楠 赵简平 WANG Xinsheng;WANG Mi;PAN Jun;XIAO Jing;LI Lu;ZHANG Haonan;ZHAO Jianping

作者机构：武汉大学测绘遥感信息工程国家重点实验室湖北武汉430079 武汉大学计算机学院湖北武汉430072 武汉大学网络安全学院湖北武汉430079 

出 版 物：《武汉大学学报（信息科学版）》 (Geomatics and Information Science of Wuhan University)

年 卷 期：2024年第49卷第6期

页      面：911-922页

核心收录：

学科分类：083002[工学-环境工程] 0830[工学-环境科学与工程（可授工学、理学、农学学位）] 081802[工学-地球探测与信息技术] 08[工学] 0818[工学-地质资源与地质工程] 081602[工学-摄影测量与遥感] 0816[工学-测绘科学与技术] 

基　　金：国家重点研发计划(2022YFB3902804) 湖北省面上项目(2022CFB352) 

主　　题：珞珈三号01星 凝视序列影像 视频稳像 插帧数据集 视频插帧 

摘      要：光学视频卫星获取的高动态、高空间分辨率的数据为对地动态观测提供了新的技术手段。2023年初发射的珞珈三号01星是新一代智能测绘遥感科学试验卫星,该星可通过凝视成像模式获取对地高清彩色视频,但原始视频帧率较低,仅为6帧/s。为进一步提升珞珈三号01星视频的流畅度,降低视觉观感的卡顿效果,开展了面向珞珈三号01星视频插帧的相关研究。首先,针对卫星凝视成像过程中的误差进行了分析,提出了一种基于帧间透视变换模型的视频稳像方法,实现了原始视频数据的预处理;然后,考虑到日常可见光视频与卫星视频之间存在较大差异,且目前暂无可用的卫星视频插帧数据集,基于预处理后的稳像视频构建了一个涵盖不同场景的卫星插帧数据集Luojia3_VFISet;最后,基于无需光流模块参与的FLAVR(flow-agnostic video representation)视频插帧网络,通过将不同尺度的特征编码信息引入解码过程,提出了FLAVR_Plus视频插帧网络,进一步提升了卫星视频的插帧效果。实验结果表明,FLAVR_Plus插帧结果的测量峰值信噪比达到35.5446 dB,精度提升约0.5%~7.2%,结构相似性可达0.9179,同比提升约0.5%~8.7%。所构建的Luojia3_VFISet数据集有助于相关研究工作的开展,提出的FLAVR_Plus视频插帧网络针对不同场景均能生成质量良好、无明显拖影的中间帧,可有效提升珞珈三号01星视频的流畅度,为后续的卫星视频相关应用提供更多的帧间信息。