多视图2.5D扩散模型

10秒生成高保真3D

该模型直接从多视图法线图恢复一致的三维结构，避免逐视角优化，生成结果模式覆盖完整且不受模式坍塌困扰。

Yuanxun, Lu · Zhang, Jingyang · Li, Shiwei · Fang, Tian · David, McKinnon · Tsin, Yanghai · Quan, Long · 曹汛 · Yao, Yao

2024

参数信息

生成时间

10 s

技术优势

10秒出结果

方法为单次扩散过程，无需任何SDS优化作为后处理，因此在10秒内即可完成3D内容生成。

不用SDS优化

模型直接从多视图法线图恢复一致的三维结构，避免了逐视角优化，因此无需分数蒸馏采样，简化了生成流程。

不会模式坍塌

通过微调预训练2D扩散模型获得多视图2.5D扩散，在保持2D模型强泛化能力的同时直接建模3D数据结构分布，保证了生成多样性。

应用场景

• 具身智能：快速生成多样的3D资产，供具身智能体在仿真环境中进行视觉导航和交互训练。
• 先进机器人仿真：10秒生成高保真3D物体模型，用于机器人抓取和操作的仿真训练，大幅缩短数据准备周期。
• 智能建造与数字孪生：从设计草图快速生成建筑构件或场景的3D数字孪生模型，加速设计方案验证。
• 快速原型设计：在10秒内从文本描述生成3D原型网格，支持产品设计的快速迭代和可视化评审。