结合密集残差结构和多尺度剪枝的点云压缩网络

作     者：朱威 张雨航 应悦 郑雅羽 何德峰 Zhu Wei;Zhang Yuhang;Ying Yue;Zheng Yayu;He Defeng

作者机构：浙江工业大学信息工程学院杭州310023 浙江省嵌入式系统联合重点实验室杭州310023 

出 版 物：《中国图象图形学报》 (Journal of Image and Graphics)

年 卷 期：2023年第28卷第7期

页      面：2105-2119页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(62173303) 浙江省自然科学基金项目(LY21F010009) 

主　　题：深度学习 点云压缩 自编码器 稀疏卷积 点云注意力机制 密集残差结构 多尺度剪枝 

摘      要：目的点云是一种重要的三维数据表示形式,已在无人驾驶、虚拟现实、三维测量等领域得到了应用。由于点云具有分辨率高的特性,数据传输需要消耗大量的网络带宽和存储资源,严重阻碍了进一步推广。为此,在深度学习的点云自编码器压缩框架基础上,提出一种结合密集残差结构和多尺度剪枝的点云压缩网络,实现了对点云几何信息和颜色信息的高效压缩。方法针对点云的稀疏化特点以及传统体素网格表示点云时分辨率不足的问题,采用稀疏张量作为点云的表示方法,并使用稀疏卷积和子流形卷积取代常规卷积提取点云特征;为了捕获压缩过程中高维信息的依赖性,将密集残差结构和通道注意力机制引入到点云特征提取模块;为了补偿采样过程的特征损失以及减少模型训练的动态内存占用,自编码器采用多尺度渐进式结构,并在其解码器不同尺度的上采样层之后加入剪枝层。为了扩展本文网络的适用范围,设计了基于几何信息的点云颜色压缩方法,以保留点云全局颜色特征。结果针对几何信息压缩,本文网络在MVUB(Microsoft voxelized upper bodies)、8iVFB(8i voxelized full bodies)和Owlii(Owlii dynamic human mesh sequence dataset)3个数据集上与其他5种方法进行比较。相对MPEG(moving picture experts group)提出的点云压缩标准V-PCC(video-based point cloud compression),BD-Rate(bjontegaard delta rate)分别增加了41%、54%和33%。本文网络的编码运行时间与G-PCC(geometry-based point cloud compression)相当,仅为V-PCC的2.8%。针对颜色信息压缩,本文网络在低比特率下的YUV-PSNR(YUV peak signal to noise ratio)性能优于G-PCC中基于八叉树的颜色压缩方法。结论本文网络在几何压缩和颜色压缩上优于主流的点云压缩方法,能在速率较小的情况下保留更多原始点云信息。