认知熵近端策略优化算法

自主避碰更稳更快

一种自适应探索强度的深度强化学习算法，通过量化学习不确定性，在训练早、中、后期动态调整探索力度，从而在复杂海事环境中获得更优的收敛性和鲁棒性。

王维军 · Mingjie, Li · 陈国权 · Shenhua, Yang · 索永峰 · Xiuqin, Guo · Kunjie, Wang

Engineering Applications of Artificial Intelligence 2026

技术优势

提前规避局部最优

训练初期通过主动增大探索强度，避免过早收敛到次优策略，为后续策略优化提供更优的初始解空间。

自适应调节探索

根据智能体的学习不确定性量化指标，在训练中期自适应调节探索力度，平衡探索与利用，加速收敛。

增强最终策略稳定性

训练后期降低探索强度，使策略网络专注于利用已学到的知识，提高最终策略的稳定性和泛化能力。

应用场景

• 智能无人船避碰：替代传统避碰规则依赖人工经验的模式，提高复杂海况下的自主决策可靠性。
• 自主航行决策：为自主航行系统提供训练效率更高、决策更稳定的深度强化学习决策核心。
• 工业机器人运动规划：将三阶段探索调节机制迁移到工业机器人轨迹规划，减少试错成本。
• 无人机动态避障：在高维动态障碍环境中利用不确定性量化提升无人机避障策略的鲁棒性。
• 群体机器人协同导航：为群体机器人协同导航提供自适应探索策略，增强集群在未知环境中的学习效率。