双模协同交互模型

人机交互提速

航天员手势与眼动信号协同，实现复杂命令的高效人机交互。

Zhuang, Hongchao · Xia, Yilu · Wang, Ning · Weihua, Li · Dong, Lei · 李博

Science China Technological Sciences 2023

参数信息

交互时间缩短

79-91 %

整体判断准确率

83-97 %

技术优势

交互速度大幅提升

手势和眼动信号融合后，指令下达路径更短，实验显示双模交互时间仅为单模式下的约9%~21%。

抗干扰不挑环境

模型对图像干扰不敏感，即使存在干扰项，整体判断准确率仍保持在83%~97%。

轻量可部署

基于轻量化模型实现双模协同，适合在计算资源受限的航天设备上运行。

应用场景

• 航天人机交互：用于月面机器人远程操控，提升复杂任务指令传达效率。
• 宇航员辅助操作：辅助航天员在舱内快速下达多步操作指令，减少手动输入负担。
• 手势眼动融合控制：替代单一模式控制，利用手势和眼动互补提升指令识别鲁棒性。
• 多模态机器人控制：为多模态机器人提供更自然高效的交互入口，实现复杂命令准确下达。