低帧率时序对齐

低帧率下精准对齐

这一时序对齐模块解决了低帧率输入下多模态特征错位问题，让自动驾驶系统在低帧率下仍能对齐多模态特征并准确感知。

Zhongyu, Rao · 蔡英凤 · 王海 · 廉玉波 · Yilin, Zhong · 陈龙 · 李祎承

IEEE Transactions on Intelligent Vehicles 2024

参数信息

with low-frame-rate L

81, NDS

with low-frame-rate F

16, NDS

技术优势

低帧率下NDS与mAP同时显著提升

在nuScenes验证集F=16设置下，NDS从41.5提升至48.2，mAP从35.6提升至46.5，证明模块能有效利用历史特征弥补帧间信息缺失。

多模态对齐开销骤降

相比多模态传感器方案，该模块以单目视觉实现相当精度，避免高昂的传感器同步与算力成本。

应用场景

• 低帧率多模态融合：在相机与LiDAR帧率不匹配时对齐特征序列，替代复杂的硬件同步。
• 低帧率目标检测：在视频帧率受限的无人车上仍准确检出目标，避免漏检。
• 低帧率机器人感知：让算力有限的机器人也能融合多传感器历史信息，保持感知稳定。