100% mAP 医学跨模态检索
通过多模态语义一致性约束和模态不变性约束，该网络能够将不同模态的医学图像映射到共享语义空间，实现精准检索，避免仅依赖分类或聚类而造成的语义鸿沟。
72732682 · Xinyu, Wang · Xie, Yicai
ACM Transactions on Multimedia Computing, Communications and Applications 2024
网络采用多伪暹罗结构，能够同时处理多种模态的医学图像，解决现有方法局限于两模态检索的问题。
SCL-MPS 直接执行检索任务，而不是将检索转化为分类或聚类，从而保持语义信息完整，提高检索准确性。
通过设计的语义一致性和模态不变性约束，SCL-MPS 使语义相似的样本在黎曼流形上成为近邻，从而增强检索效果。
在 ADNI1 数据集的跨模态检索任务中，SCL-MPS 达到 100% mAP，显著优于现有方法。