信息瓶颈自蒸馏方法

提升轻量网络

一种增强轻量级超分辨率网络在真实世界退化下泛化能力的自蒸馏方法,不增加推理复杂度。

Zhu, Han · 陈震中 · Liu, Shan

IEEE Transactions on Circuits and Systems for Video Technology 2024

技术优势

泛化能力更强

通过信息瓶颈引导网络学习跨越不同退化的不变相关,去除退化与重建目标间的虚假相关。

不增加推理负担

自蒸馏只在训练阶段进行,学生网络结构不变,因此部署时推理复杂度毫无增加。

优于现有自蒸馏

在真实世界超分辨率数据集上的实验表明,该方法对多种轻量级网络的提升幅度超过已有自蒸馏方法。

应用场景