多视角人机交互神经建模管线

追踪重建渲染一体

面向多视角视频输入的逐层神经处理管线，用于人-物交互的精确跟踪、几何重建与自由视点渲染。

Zhang, Juze · Luo, Haimin · Hongdi, Yang · Xinru, Xu · Qianyang, Wu · Shi, Ye · 虞晶怡 · Xu, Lan · Wang, Jingya

2023

参数信息

数据集规模

71 M frames

技术优势

跟踪重建渲染一体

采用逐层神经处理管线，针对多视角视频输入，完成精确跟踪、几何重建和自由视点渲染，省去多套方案拼接。

自由视点交互数据

构建的 HODome 数据集由高密度多视角穹顶采集，专门解决固定视角下的遮挡、形状纹理歧义和运动等问题。

大规模交互基准

HODome 包含 71M 帧、10 位受试者与 23 个物体，为多种推断、建模和渲染任务提供测试基准。

应用场景

• 人机交互视觉分析：用 HODome 训练模型，解决遮挡下的交互理解。
• 自由视点视频生成：提供多视角数据，训练自由视点渲染模型。
• 多视角运动捕捉：由高密度穹顶采集，支持多视角运动跟踪。
• 机器人操作示范数据集：提供人-物交互示范，用于机器人操作学习。