字符级蒸馏模型

字符级特征更精细

在字符级别上对齐真实场景数据与合成数据,无需额外标注即可获得更具判别力的特征表示。

Guan, Tongkun · 沈伟 · 杨小康

IEEE Transactions on Pattern Analysis and Machine Intelligence 2025

参数信息

平均提升(对比监督方法)
1.8 %
平均提升(对比半监督方法)
0.6 %
平均提升(对比自监督方法)
1.1 %
Union14M-L 数据集上的提升
6.1 %

技术优势

无需额外标注

通过在线的知识蒸馏从合成数据中获取字符级监督信号,无需额外的边界框或像素级标注即可在真实数据上学习精细特征。

字符级表示更精细

与传统的序列级或词级表示相比,字符级表示能捕捉更细粒度的视觉结构,从而提高对复杂背景和形变的鲁棒性。

统一解决域不一致

将无标注真实数据的自监督学习与合成数据的监督学习结合在同一个框架中,避免了分阶段训练带来的真实到合成的域漂移。

应用场景