减轻负迁移
两个网络根据各自表现动态互学，优于平均教师模型，有效缓解负迁移。
Zhou, Lihua · Xiao, Siying · 叶茂 · Zhu, Xiatian · Li, Shuaifeng
IEEE Transactions on Circuits and Systems for Video Technology 2023
根据目标样本的预测表现，两个网络分别进行知识蒸馏和反向知识蒸馏，让较差的网络向较好的网络学习，同时较好的网络远离较差的预测，从而相互促进。
推理阶段使用两个网络输出的平均值作为最终预测，通过集成降低方差，提升稳定性。
策略无需额外的手工调整超参数，因为网络间的学习完全由各自在目标样本上的预测置信度驱动。