量化图形神经网络

图像分类高效部署

通过 Pauta 量化与自蒸馏，在显著降低计算开销的同时，将图像分类精度提升至超越现有前沿方法。

Xinbiao, Xu · 马丽艳 · 曾铁勇 · Huang, Qinghija Hua

Mathematics 2023

技术优势

量化误差更小

Pauta 量化利用分布统计特性消除离群值，实现细粒度量化，从而减少量化误差。

无需全精度教师模型

所提出的自蒸馏方法注意力量化蒸馏与随机量化蒸馏，在极小开销下显著提升量化模型性能，摆脱对全精度教师的依赖。

稳健且泛化

大量实验表明该方法不仅超越现有最优量化方法，且在不同设置下表现出稳健的泛化能力。

应用场景

• 边缘端图像识别：低开销量化模型可直接部署于边缘设备，实现高效图像识别。
• 轻量级视觉处理：模型体积与计算量大幅压缩，适合轻量级视觉处理任务。
• 智体视觉感知：量化模型可作为智能体的感知模块，在资源受限下提供高性能视觉理解。
• 产线视觉质检：量化模型可低成本部署于产线，实现快速稳定的视觉质检。