球面卷积全景深度模型

融合双表征

提出一种师生模型，融合等距柱状投影与球面表征来估计单目全景图像深度，其中新设计的球面卷积核能在球面上均匀采样，有效应对失真。

Jingguo, Liu · Yijun, Xu · Li, Shigang · Li, Jianfeng

2024

技术优势

球面采样更均匀

在球面上采样比在立方体或切面投影上更均匀，能更有效地处理失真问题。

用师生模型学习深度潜在特征

与仅压缩模型的师生方法不同，本工作利用师生模型学习深度图的潜在特征，从而在推理时融入蒸馏知识。

应用场景

• 机器人视觉导航：直接从单目全景图像得到稠密深度图，用于避障和路径规划。
• 具身智能感知：为具身智能体提供全景深度感知，替代多个深度相机的拼接。
• 无人机环境感知：在无人机上以单一全景相机估计全域深度，减轻载荷和功耗。
• 全景视觉传感：将全景成像从二维展示提升到三维深度感知，直接支持场景重建。