语言3D高斯抓取器

开放词汇实时抓取

用3D高斯泼溅高效蒸馏二维语言特征，实现开放词汇的机器人抓取。

Yuhang, Zheng · Xiangyu, Chen · Yupeng, Zheng · Songen, Gu · Runyi, Yang · Bu, Jin · Pengfei, Li · Zhong, Chengliang · 王增茂 · Lina, Liu · Yang, Chao · 王大卫 · Zhen, Chen · Long, Xiaoxiao · 王美清

IEEE Robotics and Automation Letters 2024

技术优势

实时渲染

用3D高斯泼溅显式表示场景，无需大量视角即可实时推理，摆脱NeRF的重建负担。

边界更清晰

通过EFD模块的对比学习约束特征一致性，避免patch级蒸馏导致的分割模糊。

抓取更准

利用重建几何生成无碰撞候选，并通过normal-guided模块挑选最佳姿态。

应用场景

• 具身智能机器人抓取：让机器人听懂自然语言指令，在真实环境中抓取指定物体。
• 先进机器人：提供实时、开放词汇的3D场景理解，支撑先进机器人交互。
• 工业机器人：可快速部署到产线，按语言指令调整抓取任务。
• 软体机器人：无需复杂标定，适应柔性操作场景中的语言引导抓取。
• 开放词汇场景理解：将2D语言特征蒸馏到3D高斯场，实现开放词汇查询。