深度先验Transformer

单目3D检测新SOTA

用归一化流构建深度先验，以纯Transformer主干和跨注意力融合实现更准确高效的单目3D目标检测。

Pan, Cong · Peng, Junran · 张兆翔

IEEE/CAA Journal of Automatica Sinica 2024

参数信息

的单目

3 D

技术优势

深度更准

用归一化流为深度图构建先验，纠正深度估计误差。

融合更高效

双分支Transformer加跨注意力融合，取代以往卷积融合模式，提升效率。

检测更准

利用像素级相对深度值设计位置编码，让序列顺序更准确，提升检测性能。

应用场景

• 自动驾驶感知：直接输出3D框，无需LiDAR，降低自动驾驶感知成本。
• 3D视觉：从单目图像恢复3D信息，拓展3D视觉应用场景。
• 视觉Transformer：将Swin-Transformer引入单目3D检测，推动ViT在3D任务的应用。