生成高质量跨模态配对图
通过对比学习与局部多模态特征融合生成高质量跨模态图像,并提取统一特征表示以消除模态差异。
Jia, Qi · Tengfei, Liang · Liu, Wu · 李浥东 · Jin, Yi
IEEE Transactions on Circuits and Systems for Video Technology 2023
对比学习图像生成网络能够生成高质量的跨模态配对图像,弥补了现有生成方法图像质量差的缺陷。
在生成图像时考虑身份判别信息的重要性,使生成的图像更有利于行人重识别。
基于局部的双多模态特征融合模块充分整合两种模态的信息,并消除跨模态差异的影响。
在 SYSU-MM01 和 RegDB 数据集上的大量实验证明了所提策略的优越性。