可微分渲染多视图融合网络

零样本形状识别

通过可学习渲染参数与文本-图像融合，为每个三维对象确定最优视角，提升零样本三维形状理解的性能。

宁欣 · Yu, Zaiyang · Li, Lusi · 李卫军 · Tiwari, Prayag

Information Fusion 2024

参数信息

在零样本

3 D

在标准

3 D

技术优势

视角不再靠预设

可微分渲染器渲染参数可学习，通过文本-图像融合损失迭代更新，为每个 3D 对象确定最优视角位置，不再依赖人工预设。

跨视图信息融合

引入组视图机制建模视图间相互依赖，实现高效信息融合，从而更全面地理解 3D 形状。

应用场景

• 零样本三维识别：用于识别训练中未见过的 3D 物体类别，无需重新训练。
• 多模态感知：融合文本和图像信息，提升对 3D 形状的语义理解。
• 三维视觉测量：从多视角图像学习最优视图，辅助 3D 形状分析。