事件相机无监督视频重建

作     者：刘凢 余磊 LIU Fan;YU Lei

作者机构：武汉大学电子信息学院湖北武汉430072 

出 版 物：《武汉大学学报（工学版）》 (Engineering Journal of Wuhan University)

年 卷 期：2024年第57卷第8期

页      面：1150-1159页

核心收录：

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 08[工学] 081104[工学-模式识别与智能系统] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 

基　　金：国家自然科学基金项目(编号:62271354,61871297) 湖北省自然科学基金项目(编号:2021CFB467) 

主　　题：事件相机 图像重建 深度学习 循环生成对抗网络 

摘      要：实际应用中,事件时钟与传统相机图像帧率之间的差异往往导致二者存在一定的时空差异,很难得到精准的一一对应的事件-图像数据对,导致无法对网络进行有效的监督训练。针对时空匹配困难的问题,利用循环生成对抗网络中学习图片整体分布的特性,提出基于事件相机的无监督视频重建方法,实现了在事件相机上非时空匹配的无监督重建。实验结果表明,相比于现有的基于事件相机的视频重建方法,所提方法在结构相似性(structural similarity,SSIM)、均方误差(mean-square error,MSE)和盲/无参考图像空间质量评估器(blind/referenceless image spatial quality evaluator,BRISQUE)3个指标上均有提升;在没有时空匹配数据的情况下,所提方法能够重建出较为清晰的高帧率视频。