轻量高精度
通过融合多分支的多样知识，在无需额外教师网络的情况下实现自蒸馏，同时以更少资源消耗获得超过基线的准确率。
Zuxiang, Long · Ma, Fuyan · 孙斌 · Mingkui, Tan · 李树涛
Information Fusion 2023
通过轻量网络和全局-局部注意力，中间层能捕获判别信息，从而利用浅层分支的重要知识。
引入分支间多样性损失，使不同分支探索多样知识，促进有效协作。
通过选择性特征融合和动态logit融合，将多样化知识整合为两个知识源，使所有分支相互学习。
在多个数据集上取得比基线更好的性能，且资源消耗更少。