深度模糊多教师蒸馏网络

抗噪跨模态推理

首次将模糊逻辑融入Transformer编码器，在多教师蒸馏框架下对视觉与语言表示中的不确定性进行建模，从而提升医学VQA的语义交互鲁棒性。

Liu, Yishu · 陈炳志 · Shuihua, Wang · 卢光明 · 张正

IEEE Transactions on Fuzzy Systems 2024

技术优势

抗噪编码

FuzBERT利用模糊逻辑处理特征表示的模糊性与不精确性，使模型在交互过程中对噪声更鲁棒。

补全缺失模态

多教师蒸馏模块在其他完整模态生成的监督信号下辅助重建缺失语义，实现更稳健的跨模态语义交互。

首次融合模糊逻辑

据我们所知，这是首次将模糊逻辑理论与基于Transformer的编码器相结合，为医学视觉问答学习多模态表示。

应用场景

• 医学影像问答：直接用于医学影像问答，提高诊断辅助的准确性和鲁棒性。
• 多模态知识蒸馏：利用多教师蒸馏从完整模态重建缺失信息，增强跨模态表示学习。
• 模糊Transformer：用模糊逻辑处理不确定性，替代标准Transformer提升抗噪能力。