多模态融合深度补全网络

编码解码双向融合

该网络编码阶段提取彩色图与稀疏深度图的多模态特征并通道打乱增强,解码阶段再充分融合,从而恢复更精细的稠密深度图。

Liu, Lina · Song, Xibin · 孙家岱 · Xiaoyang, Lyu · Lin, Li · Yong, Liu · Zhang, Liangjun

IEEE Robotics and Automation Letters 2023

技术优势

编码端多分支提取

编码阶段用三条分支分别提取彩色图与稀疏深度图的不同模态特征,并通过通道混洗增强,捕获更丰富的互补信息。

解码端充分融合

解码阶段用两个分支融合多模态特征,并用多级加权组合进一步增强,细化深度图。

在线方法最优

在多个基准上验证达到在线方法最优,说明模型实用性强,适合实时应用。

提升下游任务

在KITTI里程计数据集上,用预测深度图的RGB-D SLAM获得更高轨迹精度,证明深度质量足以改善机器人感知。

应用场景