无参数量增即提性能
融合CNN与Transformer互补知识，在资源受限下提升遥感分割精度。
Zhe, Dong · 高国明 · 刘天竹 · Gu, Yanfeng · 张向荣
IEEE Transactions on Geoscience and Remote Sensing 2023
通过特征与logits蒸馏提升学生模型分割精度，不增加任何可训练参数，适合资源受限场景。
在ISPRS Potsdam、Vaihingen、GID和LoveDA四个数据集上均取得优于现有知识蒸馏方法的结果。
同时从CNN与Transformer教师模型中学习互补知识，增强学生模型表征与决策边界。