多模态重排扩散模型

语言即排布

这是首个将视觉语言模型规划与目标布局去噪扩散生成相结合的对象重排方法,通过效率导向学习策略最小化移动距离,并能从仿真泛化到真实机器人。

Chen, Wenkai · Changming, Xiao · Gao, Ge · Fuchun, Sun · 张长水 · Zhang, Jianwei

IEEE Transactions on Systems, Man, and Cybernetics: Systems 2025

技术优势

不需要预定义目标状态

扩散模型根据语言指令直接生成期望排布,摆脱了对目标图像或位姿的依赖。

平均移动距离更短

通过效率导向学习策略显式优化物体平均移动距离,使重排路径更高效。

少样本迁移到真实机器人

基于合成数据集训练的策略只需少量指令示例即可迁移到真实世界,无需额外人工干预。

单模型处理长时程任务

一个模型即可完成多种具有挑战性的长时程语言条件重排任务,无需为不同任务训练多个控制器。

应用场景