最大熵深度逆强化学习模型

跟车行为高保真建模

用深度神经网络表达奖励函数，从驾驶数据中直接还原驾驶员的跟车策略，比传统线性逆强化学习精度更高。

Nan, Jiangfeng · Weiwen, Deng · Ruzheng, Zhang · Rui, Zhao · 王英 · Ding, Juan

IEEE Transactions on Intelligent Vehicles 2023

技术优势

计算更快

将配分函数的积分计算离散化为有限候选轨迹上的求和，避免传统 DIRL 中反复的强化学习最优策略求解，训练和推断开销大幅降低。

建模更准

用深度神经网络表达奖励函数，突破传统 IRL 特征线性函数的拟合瓶颈，复现跟车行为更接近真实驾驶员。

能学到奖励

从真实驾驶数据中直接学习出驾驶员的奖励函数，无需手动设计特征或先验假设，奖励函数的收敛性经 MPC 虚拟驾驶员数据验证。

应用场景

• 类人自动驾驶：提供可解释的奖励函数，用于训练拟人化决策策略，让自动驾驶行为更接近真人操作。
• 驾驶行为模拟：用学到的奖励函数驱动虚拟驾驶员，在仿真中高保真复现真实跟车行为，减少实车测试依赖。
• 智能交通系统：跟车模型可嵌入交通流仿真，支持信号优化、拥堵分析和安全评估等 ITS 应用。