UN-η统一归一化

离线低开销，性能对标LN

针对Transformer部署提出离线自适应归一化方法，硬件开销低，性能可与LayerNorm相媲美，且已具备GPU效率验证。

Li, Zheyang · 张凯 · 74482562 · 74482563 · 张焕龙 · Tan, Wenming · 肖俊 · 浦世亮

Knowledge-Based Systems 2024

技术优势

推理开销低

采用离线归一化方式，无需在推理时计算统计量，显著降低计算和内存开销。

性能对标LN

在多个任务上达到与LayerNorm相当的性能，表明该替代方案不会牺牲模型表现。

无需重训

作为LN的替代方案，可在现有Transformer架构中直接替换归一化层，无需重新训练。

应用场景

• Transformer模型部署：直接替换模型中的LayerNorm，降低推理成本，便于部署到边缘设备。
• 自然语言处理加速：加速语言模型推理，减少归一化计算量，提升在线服务吞吐量。
• 视觉Transformer推理：降低视觉Transformer的推理时延，适用于实时图像处理场景。
• 语音模型高效推理：优化语音模型的归一化操作，提升语音识别等场景的推理效率。