差分像素感知Transformer

RGB-D场景中鲁棒分割

通过差分共享跨模态交互与动态融合,实现细粒度像素级对齐,在多个基准上性能领先。

龚燕 · Jianli, Lu · 高永生 · 赵杰 · Xiaojuan, Zhang · Rahardja, Susanto

IEEE Transactions on Circuits and Systems for Video Technology 2026

参数信息

mIoU
54.28 %
mIoU
59.95 %

技术优势

对齐更精细

差分共享跨模态(DSIM)模块分离模态特定和共享线索,实现像素级对齐。

融合更智能

动态融合策略根据场景特性平衡模态贡献,充分利用 RGB-D 信息。

性能显著提升

在 SUN RGB-D 和 NYUDv2 上分别比 DFormer-L 提高 1.78% 和 2.75% mIoU。

跨数据泛化

在大型 ScanNetv2 数据集上进一步验证了有效性,表明泛化能力强。

应用场景