多模态诊断更准
一种结合Mamba架构与CLIP先验的跨模态眼底图像融合网络，为视网膜疾病诊断提供互补线索并可灵活适配多模态数据。
Qing, Liu · 朱宏擎 · Qian, Tianwei · Huang, Bingcang · Ying, Wang
Information Fusion 2026
分别用Mamba提取CFP的全局上下文和OCT的层次结构细节，两种模态信息互补，提高诊断准确性。
引入预训练CLIP编码器提取跨模态语义关联，为诊断提供额外互补线索，丰富特征表示。
跨模态Mamba融合模块采用自适应动态加权，优化各模态贡献，提升融合效率和整体诊断性能。