跨模态级联融合网络

RGB-T解析新SOTA

通过跨模态注意力挖掘互补信息,并以级联方式融合多层特征,实现RGB-T城市语义分割的新突破。

周武杰 · Dong, Shaohua · Fang, Meixin · 余露

IEEE Transactions on Intelligent Vehicles 2023

参数信息

mIoU
61.2 %
mIoU
61.2 %

技术优势

互补信息挖掘更充分

跨模态注意力融合模块从两种模态中主动挖掘互补信息,而非简单拼接或叠加。

多级特征高效解码

级联融合模块以自顶向下的方式解码多层特征,使高层语义逐步引导低层细节,提升分割精度。

像素与区域关系建模

区域模块显式建模像素与所属区域的关系,避免孤立地给每个像素分类。

像素间关系学习

除交叉熵损失外,新增一项损失函数学习像素与像素之间的关系,使预测在同质区域更一致。

应用场景