BEV时空表征模型

多模态感知新基准

用时空Transformer从激光雷达与相机数据中学习统一鸟瞰图表示，现支持目标跟踪、矢量化建图等多项自动驾驶任务。

Zhiqi, Li · 王文海 · Hongyang, Li · 谢恩泽 · Chonghao, Sima · 路通 · Yu, Qiao · Dai, Jifeng

IEEE Transactions on Pattern Analysis and Machine Intelligence 2024

参数信息

NDS指标

74.1 %

技术优势

融合更简洁

在 BEV 空间里用交叉注意力同时聚合点云和相机特征，避免了传统方法中复杂的多阶段特征转换。

多个任务通用

同一个 BEV 表示可以用于目标跟踪、矢量化建图、占据预测和端到端自动驾驶等任务，减少重复开发。

应用场景

• 自动驾驶感知：为多传感器自动驾驶系统提供统一的鸟瞰图表示，简化感知管线。
• 多模态融合：将点云和相机特征在 BEV 空间直接融合，减少信息损失。
• 鸟瞰图感知：用时空 Transformer 生成 BEV 特征，支持下游多种任务。
• 端到端自动驾驶：可作为端到端自动驾驶系统的感知模块，输出 BEV 表示供规划控制使用。