两级强化学习机器人

自维持无人值守

用两级强化学习同时解决机器人能量自维持与个性化交互的问题，让机器人自行决定何时充电并适应不同用户的互动偏好。

Koyo, Fujii · Holthaus, Patrick · Samani, Hooman · Premachandra, Chinthaka · Amirabdollahian, Farshid

Lecture Notes in Computer Science 2024

技术优势

会算何时充电

机器人通过Q学习在模拟环境中反复试错，自行建立电池电量与前往充电桩两个动作的价值判断，出现Q值反转点即对应其学习的充电阈值，无需工程师手工设定。

越用越懂人

机器人在真实人机交互中根据用户反馈更新三种动作的概率，随着时间推移其对特定用户偏好的行为选择概率会发生变化，展现出个性化适应能力。

充电社交两不误

两级Q学习框架将能量管理与个性化交互作为两个层次并行训练，使机器人在维持自身运行的同时仍能满足社交互动需求，避免单一任务训练造成的功能偏废。

应用场景

• 机器人自主充电：让机器人自行判断何时返回充电桩，避免因电量耗尽停机，减少人工干预次数。
• 人机个性化交互：通过个体反馈在线调整交互动作概率，使机器人行为更贴合不同使用者的习惯。
• 护理机器人：可长期部署在照护环境中，自行管理能源并适应用户的互动偏好，减少维护负担。
• 服务机器人：框架提供能量自维持与个性化交互的通用训练方法，可迁移到各类服务机器人平台。
• 机器人能源管理：以学习到的Q值反转点作为充电触发阈值，为机器人能源管理提供数据驱动的决策方案。