多模态表征网络

Xiang, Suncheng · Chen, Hao · Ran, Wei · Yu, Zefang · 刘婷 · 钱大宏 · 付宇卓

Machine Learning 2023

技术优势

跨域泛化更强

在预训练阶段通过多模态表征学习将不同模态特征转换到公共空间，提升模型的泛化能力，减少在新域的部署性能损失。

贴合真实场景

微调阶段采用真实数据集对预训练模型进行微调，使其分布与真实世界数据更好对齐，提升实用效果。

应用场景

• 智能安防：用于跨摄像头行人追踪，无需在新场景重新标注即可部署。
• 跨域机器人识别：让机器人在新环境中识别行人身份，减少对目标域数据的依赖。
• 医疗影像检索：将多模态特征对齐方法迁移到医学影像检索，提升跨设备泛化能力。