单模态事件无关蒸馏模块

即插即用,显著提升

用跨域教师提取单模态细粒度知识,动态均衡各模态学习,解决多模态模型偏置与欠优化问题。

Guofan, Liu · Jinghao, Zhang · 刘强 · Junfei, Wu · 吴书 · 王亮

IEEE Transactions on Knowledge and Data Engineering 2024

技术优势

去除事件偏差

用跨域验证的方式训练教师模型,使教师预测不依赖事件特有噪声,蒸馏给学生的是事件无关的知识。

平衡模态收敛

动态监测各模态参与度,对欠优化模态加大蒸馏损失权重,避免单一模态主导。

即插即用

可作为模块集成到现有多模态检测骨架,无需改变整体架构。

应用场景