三元量化大模型

70B参数仅1比特

将三元量化扩展到70B参数语言模型，无需从头训练，显著减小模型体积和推理时间。

Guo, Yufei · Zecheng, Hao · Ma, Zhe

Neural Networks 2025

参数信息

平均下游准确率

61 %

技术优势

免训练直接量化

两阶段后训练算法可将全精度模型直接量化为三元权重，避免了从头训练的高昂成本。

扩展到70B参数

PT-BitNet 在 70B 参数模型上平均下游准确率达 61%，显著优于 BitNet b.158 的 51.2%。

应用场景

• 边缘大模型部署：量化后模型体积大幅减小，适合部署在边缘设备上。
• 端侧智能：消除乘法运算可显著降低推理延迟与能耗。