残差解码头加速解码

最高3.2倍加速

通过残差解码头补偿长距离依赖建模不足，在不牺牲精度的情况下实现大语言模型推测解码加速。

Zeng, Ziqian · Jiahong, Yu · Qianshi, Pang · 王子豪 · Zhuang, Huiping · Yu, Fan · Shao, Hongen · Zou, Xiaofeng

Big Data Mining and Analytics 2025

参数信息

加速比

3.2 ×

技术优势

精度不降反升

残差解码头补偿了全上下文编码器对长距离依赖建模的不足，因此解码头精度优于现有推测解码方法。

加速比达3.2倍

在MT-bench上取得最高3.2×的加速比，显著降低推理延迟。

应用场景

• 大语言模型推理加速：用残差解码头替换原解码头，即可获得最高3.2×推理加速。
• AI芯片：推理加速能降低AI芯片上运行的时延和能耗。
• 边缘智能：加速后的推理更适合算力有限的边缘设备。
• 机器人对话系统：更低的延迟让机器人对话响应更及时。