批量分布对齐
一种用Sinkhorn距离做知识蒸馏的方法，能从跨样本的几何结构中捕捉教师与学生分布差异，避免传统散度在分布重叠时的退化。
崔晓 · Qin, Yulei · Gao, Yuting · Enwei, Zhang · Xu, Zihan · Tong, Wu · Li, Ke · Sun, Xing · Zhou W. · 李厚强
IEEE Transactions on Neural Networks and Learning Systems 2024
KL、RKL、JS在分布重叠时分别导致模式平均、模式坍缩和模式低估，Sinkhorn距离能精确度量分布差异，避免这些退化。
摆脱逐样本蒸馏限制，改为批量重构，捕捉高维空间中跨样本分布的几何结构，获得更全局的对齐信号。
在仅编码器、编码器-解码器、仅解码器三类LLM上均超越SOTA，适应不同任务和模型结构。