LTFormer轻量匹配网络

零标注异构匹配

面向可见光与近红外影像的辐射差异,以自监督方式直接学得可迁移的深层特征描述符,省去对稀缺标注样本的依赖。

Wang, Zhang · Tingting, Li · Yuntian, Zhang · Pei, Gensheng · Xiruo, Jiang · 姚亚洲

Information Fusion 2024

技术优势

无需标注数据

采用自监督训练,直接从未标注的可见光–近红外图像对中学习描述符,摆脱对有标签样本的依赖。

轻量级网络

轻量 Transformer 网络 LTFormer 生成深层特征描述符,参数量和计算开销较小,更利于实际部署。

先进的损失设计

提出的 LT Loss 三元组损失可有效拉近匹配对、推远非匹配对,进一步提升匹配性能。

开源可复现

代码和预训练模型已公开,研究人员可直接使用或进行二次开发,降低集成门槛。

应用场景