注意力校正量化算法

无数据量化精度最高

针对合成样本注意力分布与真实样本不一致的问题,通过类内注意力中心和跨模式一致性校正,显著提升量化网络的分类精度。

Li, Jixing · Guo, Xiaozhou · Benzhe, Dai · 龚国良 · 金民 · 陈刚 · 毛文宇 · 鲁华祥

Pattern Recognition 2024

参数信息

准确率(ResNet-18)
67.55 %
准确率(ResNet-50)
72.23 %

技术优势

注意力更接近真实样本

通过注意力中心匹配损失,实现合成样本类内注意力的粗粒度匹配,使量化网络能学到更多类内视觉特征。

防止模式崩溃

基于相同条件样本对的对抗损失防止生成器因过度关注条件信息而模式崩溃,从而生成更多样化的类内样本。

统计匹配更准确

引入一致性惩罚,保证不同网络模式下合成样本统计分布匹配的准确性。

应用场景