跨模态交互模块

少样本多光谱检测

在仅有少量标注样本的条件下,通过可见光与热红外特征的交互增强,实现更鲁棒的多光谱目标检测。

Huang, Lian · Peng, Zhongju · 陈芬 · 代少升 · He, Ziqiang

Neural Networks 2024

技术优势

少样本也能训

利用语义原型度量损失引入词嵌入作为稳定的类别表示,在视觉信息不足时仍能优化嵌入空间。

融合更有效

跨模态交互模块在骨干特征提取阶段利用不同注意力机制交互可见光与热红外信息,提取更具判别力的模态特定特征。

检测更鲁棒

通过融合热红外信息,检测器能更好地应对复杂光照条件,提高在光照变化场景下的稳定性。

应用场景