能量加权监督

一种通用的蒸馏监督增强框架，通过能量分数动态调整硬标签与软标签损失权重，在不增加训练成本的情况下，改善学生模型在多模态文档理解任务上的性能。

Chang, Jenchun · Chia-Cheng, Lee · Lu, Chungfu · Shen, Victor R.L.

Knowledge-Based Systems 2025

参数信息

基准上提升

2.35 F1

基准上提升

0.84 F1

基准上提升

0.11 F1

技术优势

不增加训练成本

EWS仅通过重新加权损失项来调整监督信号，无需像HE-DA那样引入额外的数据增强过程。

通用性强，可适用多种蒸馏方法

该方法作为即插即用的监督增强，可在多种知识蒸馏范式中提升学生性能，在三个基准上均取得正向收益。

纠正错误监督，尤其在困难样本上

EWS对高能量样本增加硬标签权重，缓解教师错误预测被锐化后误导学生的问题。

应用场景

• 多模态文档理解：替代表格识别等文档理解模型训练中的普通蒸馏，提升精度且无需额外数据。
• 模型压缩与部署：作为现成蒸馏增强组件集成，压缩模型时保持性能不降。
• 资源受限设备：蒸馏时无需额外训练开销，适合为边缘设备获得轻量模型。