DriveGPT4 驾驶模型

端到端可解释

用大语言模型处理视频和文本，同时输出控制信号和驾驶理由，让自动驾驶决策不再难以理解。

Xu, Zhenhua · Yujia, Zhang · 谢恩泽 · Zhen, Zhao · Yong, Guo · Wong, Kwan Yee Kenneth · Li, Zhenguo · Zhao, Hengshuang

IEEE Robotics and Automation Letters 2024

技术优势

能说出为什么

模型对每一帧预测的低层控制信号，都会生成对应的自然语言解释，让研究者可以追踪决策依据。

一个模型，两种输出

无需额外部署解释模块，同一网络同时产生控制信号和文本解释，简化系统集成。

超过 GPT4-V

在领域数据上微调后，DriveGPT4 在自动驾驶相关任务的 grounding 表现上接近或优于 GPT4-V，证明小模型领域微调的价值。

应用场景

• 可解释自动驾驶：为自动驾驶系统提供逐动作自然语言解释，便于安全审计和失效分析，提高系统可信度。
• 端到端驾驶系统：用单一模型直接输出控制信号，替代模块化流水线，减少级联误差并提升性能。
• 人车交互：通过自然语言回答驾驶相关问题，使车内乘员能理解车辆意图，增强人机信任。
• 智能驾驶控制：将大语言模型的推理能力融入低层控制指令生成，提升复杂场景下的驾驶决策质量。