通过交叉耦合语义架构与一致性损失全面利用成对样本的相关性,缩小异构模态表征的语义鸿沟。
Li, Zhuoyi · Lu, Huibin · Fu, Hao · Fanzhen, Meng · Gu, Guanghua
Artificial Intelligence Review 2025
交叉耦合语义架构把前向映射和逆映射耦合起来,并在另一个模态的分支上实现权重共享,更全面地探索成对异构样本之间的关联。
引入交叉耦合一致性损失,约束逆映射分支与前向分支的表示保持一致,最小化两者之间的语义差距。