RGB-T解析新SOTA
通过跨模态注意力挖掘互补信息,并以级联方式融合多层特征,实现RGB-T城市语义分割的新突破。
周武杰 · Dong, Shaohua · Fang, Meixin · 余露
IEEE Transactions on Intelligent Vehicles 2023
跨模态注意力融合模块从两种模态中主动挖掘互补信息,而非简单拼接或叠加。
级联融合模块以自顶向下的方式解码多层特征,使高层语义逐步引导低层细节,提升分割精度。
区域模块显式建模像素与所属区域的关系,避免孤立地给每个像素分类。
除交叉熵损失外,新增一项损失函数学习像素与像素之间的关系,使预测在同质区域更一致。