压缩即用更少数据
在数据隐私受限场景下，用极少量训练图像即可实现比以往方法更优的网络加速，且不受数据缺失或分布偏移影响。
Wang, Guohua · 吴建鑫
IEEE Transactions on Pattern Analysis and Machine Intelligence 2024
首次从理论层面证明特征模仿相比朴素微调能降低参数方差，优化更容易，从而解释了小样本压缩为何有效。
理论表明丢弃块在少样本压缩中具有更凸的优化过程和更高加速比，本文据此设计了新的压缩算法。
仅使用极少量训练图像即可实现显著加速，适用于数据隐私敏感场景，无需完整数据集。
在数据缺失或分布外数据条件下仍能保持高性能，具有很高的泛化能力。