HIPPo无模型6D姿态估计网络

零样本实时跟踪

无需CAD模型或参考图像，利用图像到3D扩散先验，几秒内生成新物体的3D网格，并在线持续精化，实现即时6D姿态估计与跟踪。

Liu, Yibo · Zhaodong, Jiang · Xu, Binbin · Wu, Guile · Ren, Yuan · Tongtong, Cao · Liu, Bingbing · Rui Heng, Yang · Rasouli, Amir · Shan, Jinjun

IEEE Robotics and Automation Letters 2025

参数信息

几秒内从单次观察生成

3 D

技术优势

无需CAD模型

利用扩散模型的图像到3D先验生成网格，省去准备CAD模型或参考图像的耗时工作。

几秒生成网格

基于多视图扩散模型和3D重建基础模型，从单次观察即可快速生成任意新物体的3D网格。

在线持续精化

通过联合优化物体几何与外观，用在线观测逐步替换扩散先验，使网格和姿态估计随时间更加准确。

应用场景

• 机器人抓取：在无CAD模型时，几秒生成3D网格即可实时估计未知物体姿态，直接用于抓取规划。
• 具身智能感知：赋予机器人对新物体零样本3D理解能力，从单次观察即可建立网格并用于实时交互。
• 工业机器人操作：产线无需提前准备CAD或拍摄参考图，机器人可立即估计工件姿态并开始操作，缩短换线时间。
• 3D视觉：利用扩散先验从单视图重建任意新物体的完整3D网格，突破传统方法对多视图或深度传感器的依赖。