手眼协调书法控制器

即看即写

机器人看一个笔划图像即可直接生成书写动作，无需针对每个字重新编程，训练速度与输出多样性优于现有闭环方法。

Wu, Ruiqi · 晁飞 · Zhou, Changle · Chang, Xiang · Yang, Longzhi · Changjing, Shang · Zhang, Zihao · Shen, Qiang

IEEE Transactions on Industrial Informatics 2023

技术优势

训练更快

通过随机书写动作对运动-视觉网络进行预训练，辅助视觉-运动网络的学习，避免昂贵的逐任务训练。

输出多样

图像输入直接生成动作，可以针对不同目标笔划产生相应结果，无需针对每种笔划单独设计。

成本更低

框架借助内部模型控制结构，用辅助网络提升训练效率，减少了计算开销。

应用场景

• 人机动作模仿：将图像映射为动作，可直接用于让机器人复现示范运动。
• 机器人技能学习：通过视觉-运动与运动-视觉网络协同训练习得书写技能。
• 视觉伺服控制：以图像为输入直接生成运动指令，实现基于视觉的控制。
• 工业机械臂操控：手眼协调框架可集成到机械臂控制中执行书写等任务。