零标注异构匹配
面向可见光与近红外影像的辐射差异,以自监督方式直接学得可迁移的深层特征描述符,省去对稀缺标注样本的依赖。
Wang, Zhang · Tingting, Li · Yuntian, Zhang · Pei, Gensheng · Xiruo, Jiang · 姚亚洲
Information Fusion 2024
采用自监督训练,直接从未标注的可见光–近红外图像对中学习描述符,摆脱对有标签样本的依赖。
轻量 Transformer 网络 LTFormer 生成深层特征描述符,参数量和计算开销较小,更利于实际部署。
提出的 LT Loss 三元组损失可有效拉近匹配对、推远非匹配对,进一步提升匹配性能。
代码和预训练模型已公开,研究人员可直接使用或进行二次开发,降低集成门槛。