跨模态分布对齐
该模型通过直接对齐可见光与红外图像的成对距离分布来消除模态差异,相比仅做风格生成或特征约束的方法,能学到更模态不变的行人表征。
Zehua, Chai · Yongguo, Ling · 罗志明 · Lin, Dazhen · Min, Jiang · 李绍滋
IEEE Transactions on Circuits and Systems for Video Technology 2023
纯 Transformer 结构中的多头自注意力模块使模型能够捕捉行人图像的全局依赖,弥补了 CNN 架构的不足。
CMD-MMD 利用模态内分布分离性引导模态间分布分离性学习,分别对齐类内和类间的成对距离分布,使跨模态距离分布更相似,从而显著缓解跨模态差异。