自由视角图像编码网络

端到端压缩率更高

首个端到端学习的自由视角图像压缩模型，通过可微深度预测和多视角参考策略，有效消除多视点间的空间冗余，提高重建质量。

杨春晖 · 杨佳宇 · Zhai, Yongqi · 王荣刚

IEEE Transactions on Circuits and Systems for Video Technology 2024

参数信息

BD-rate增益

16.23 %

技术优势

首个端到端方案

直接以原始自由视角序列为输入，无需手工设计视点对齐或传统编码器的中间步骤。

消除视角间冗余

通过可微深度预测模块挖掘视角间的空间相关性，从而减少需要编码的信息量。

缓解遮挡问题

采用多视角参考策略，在深度预测时利用多个参考视角的信息填补遮挡区域，提高预测图像质量。

压缩性能显著提升

相较现有最佳传统方法 3D-HEVC，BD-rate 最高改善 16.23%，存储和传输开销更低。

应用场景

• 3D视觉压缩：为存储和传输大量视角的图像提供高效压缩，降低带宽需求。
• 多视图视频编码：利用视角间冗余提升多视点视频的编码效率。
• 自由视点视频：为自由视点视频提供端到端的压缩方案，替代传统编码器。
• 沉浸式媒体：减少沉浸式媒体中大量视角图像的存储和传输开销。