对比学习图像生成网络

生成高质量跨模态配对图

通过对比学习与局部多模态特征融合生成高质量跨模态图像,并提取统一特征表示以消除模态差异。

Jia, Qi · Tengfei, Liang · Liu, Wu · 李浥东 · Jin, Yi

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

生成高质量跨模态图像

对比学习图像生成网络能够生成高质量的跨模态配对图像,弥补了现有生成方法图像质量差的缺陷。

保留身份判别信息

在生成图像时考虑身份判别信息的重要性,使生成的图像更有利于行人重识别。

充分融合双模态信息

基于局部的双多模态特征融合模块充分整合两种模态的信息,并消除跨模态差异的影响。

超越现有最优方法

在 SYSU-MM01 和 RegDB 数据集上的大量实验证明了所提策略的优越性。

应用场景