基于多视图特征融合网络的虚拟视图合成

作     者：朴燕 马玉玺 

作者机构：长春理工大学电子信息工程学院 

出 版 物：《吉林大学学报(工学版)》 (Journal of Jilin University(Engineering and Technology Edition))

年 卷 期：2025年

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：吉林省科技支撑项目(20220201062GX) 

主　　题：计算机应用 多视图特征融合网络 神经辐射场 新视角合成 三维重建 Transformer 

摘      要：当前的新视角合成方法在恢复高频信息方面存在困难，导致生成图像中出现伪影和模糊现象。因此，本研究提出了一种基于多视图特征融合网络的密集视图新视角合成方法。首先，采用基于快速傅里叶变换的抗锯齿编码算法，捕捉高频细节并提高虚拟视图的质量。其次，引入基于多尺度特征融合网络，利用Transformer作为聚合函数，通过改进多头注意力机制提取不同尺度的特征信息，并引入先验残差模块以缓解梯度消失问题，用于增强局部特征，提高合成质量。最后，引入颜色监督函数来隐式表示场景的颜色分布，解决颜色失真问题。实验证明，该方法可以快速渲染高质量虚拟视图并输出高质量3D图像，且表现优于其他方法。