即插即用,显著提升
用跨域教师提取单模态细粒度知识,动态均衡各模态学习,解决多模态模型偏置与欠优化问题。
Guofan, Liu · Jinghao, Zhang · 刘强 · Junfei, Wu · 吴书 · 王亮
IEEE Transactions on Knowledge and Data Engineering 2024
用跨域验证的方式训练教师模型,使教师预测不依赖事件特有噪声,蒸馏给学生的是事件无关的知识。
动态监测各模态参与度,对欠优化模态加大蒸馏损失权重,避免单一模态主导。
可作为模块集成到现有多模态检测骨架,无需改变整体架构。