分层自适应二值ViT

模型体积降27.7倍

在保持合理精度的前提下，将ViT的权重二值化并优化注意力计算，大幅压缩模型体积并减少计算开销。

王妙辉 · Xu, Zhuowei · Bin, Zheng · Xie, Wuyuan

IEEE Transactions on Industrial Informatics 2024

参数信息

模型体积减小倍数

27.7 ×

技术优势

模型体积锐减

权重从32位量化到1位，并配合分层自适应架构，模型体积平均缩小27.7倍。

精度保持合理

在实现大幅压缩和计算节省的同时，仍保持合理的准确率。

应用场景

• 边缘计算：压缩后模型更小、算得更快，适合边缘设备部署。
• 机器人视觉：降低模型存储和计算需求，便于在机器人端实时处理视觉任务。
• 工业检测：模型压缩后可部署于工业相机或嵌入式系统进行快速检测。
• 设备端AI：二值化大幅减小模型，使设备端推理成为可能。
• 嵌入式AI：用位运算替代乘法，适合算力有限的嵌入式环境。