语义SLAM可穿戴视障抓取辅助设备

桌面上精准抓取

将视觉感知与触觉反馈集成于手部穿戴设备，使视障者无需他人辅助即可辨别方向并完成物体抓取。

费飞 · Xian, Sifan · 吴常铖 · Lu, Xiong

Sensors 2024

技术优势

语义地图实时构建

通过融合ORB-SLAM2和YOLO V5s，系统在定位的同时识别物体类别，构建包含语义信息的桌面环境地图，为抓取提供目标位置。

手部触觉方向引导

振动阵列反馈装置将目标方向信息以振动形式传递给视障者，实现直观的触觉交互，无需视觉或听觉提示。

协作机械臂辅助抓取

系统集成Dobot Magician机械臂，可辅助视障者完成实际抓取任务，增强系统的通用性和实用性。

应用场景

• 视觉辅助设备：为视障者提供桌面物体抓取引导，替代人工辅助。
• 人机协作机械臂：通过Dobot Magician机械臂辅助抓取，减少视障者操作难度。
• 语义地图构建：将YOLO检测结果融入SLAM地图，为抓取提供物体位置和类别信息。
• 康复辅助系统：帮助视障者独立完成日常抓取任务，提升生活自理能力。
• 振动阵列反馈：通过振动阵列将目标方向编码为触觉信号，使视障者无需视觉即可感知。