稀疏广义近似离线强化学习

免繁琐调参

以随机投影的稀疏紧凑特征线性近似评论家网络并动态扩展宽度结构，首次将宽度学习系统引入机器人离线策略迭代，性能与常规方法相当或更优却无需繁琐超参数调优。

Yao, Liang · Zhao, Baoliang · 徐昕 · Wang, Ziwen · Pak Kin, Wong · Hu, Ying

IEEE Transactions on Systems, Man, and Cybernetics: Systems 2023

技术优势

免繁琐调参

BORL避免了常规API方法中繁琐的超参数微调工作，部署时无需在超参数搜索上耗费大量精力。

性能不输常规

在两个基准测试上的综合仿真研究表明，BORL的性能与常规API方法相当或更优。

力跟踪更优

在机器人超声扫描的变力跟踪实验中，基于BORL的学习型自适应阻抗控制算法相比常规力跟踪方法具有明显优势。

应用场景

• 机器人学习：用BORL离线训练策略，避免在线探索风险。
• 离线强化学习：采用BLS提升API基函数效率，实现免调参。
• 机器人超声扫描：实现变力跟踪，提升扫描安全与一致性。
• 力控制：通过学习自适应阻抗，替代手工力控制器。
• 自适应阻抗控制：用BORL在线调整阻抗参数，应对组织变化。