缓解模型塌缩
通过高阶结构学习模块和分层中特征对齐机制,在可见光-红外人员重识别任务中实现了更可靠的跨模态特征空间。
Liuxiang, Qiu · 陈思 · Xue, J. H. · 王菡子 · Zhu, S. Z. · 严严
IEEE Transactions on Circuits and Systems for Video Technology 2025
高阶结构学习模块探索短程和长程特征节点间的高阶关系,从而获得更具判别力的特征,避免模型塌缩。
细-粗图注意力对齐模块从节点级和区域级两个层面高效对齐多模态特征节点,保证了中特征表示的可靠性。
利用分层中特征代理损失在网络各阶段减小模态差异,并实现低阶段和高阶段网络间的细节与语义信息交换。
模态范围身份中心对比损失最小化可见光、红外和中特征之间的距离,进一步促进特征对齐。