联合重建Transformer

单阶段多任务

首个将多视角平面重建与位姿估计统一到单阶段Transformer的方法,无需初始位姿估计和平面对应关系标注。

Jingjia, Shi · Zhi, Shuaifeng · 徐凯

IEEE Transactions on Pattern Analysis and Machine Intelligence 2025

技术优势

一个模型全搞定

将平面检测、分割、参数回归、深度预测、平面关联和位姿估计统一到一个 Transformer 中,无需多个模块串联。

不需要初始位姿

模型直接从输入图像联合估计平面和相机位姿,避免了先验位姿带来的误差传播。

免标注对应关系

无需额外的平面对应关系标注数据,降低了数据准备成本。

子任务互相促进

统一学习让各子任务之间产生相互增益,整体性能显著提升。

应用场景