张量训练嵌入表

训练加速三倍

为大规模推荐模型提供可复用的高压缩嵌入表，实现训练提速且精度无损。

Li, Yunfeng · Zheng, Wang · Chenhao, Ren · Xiaoming, Hou · 张胜利

IEEE Transactions on Systems, Man, and Cybernetics: Systems 2024

参数信息

训练加速比（对比无本方法）

2 ×

加速比（对比最先进框架）

3 ×

技术优势

训练时间减半

方法组合后训练时间比未采用本方法时快两倍，直接降低算力成本。

精度不受影响

在提升训练效率的同时不牺牲预测精度，保证模型效果。

应用场景

• 大规模深度学习模型训练：用压缩嵌入表替代原嵌入层，免改代码即可加速大规模模型训练。
• 光伏功率预测：在光伏数据集上首次应用 DLRM，训练时间大幅缩短且预测精度不降。
• 资源受限设备：通过索引重排与流水线训练消除通信开销，使受限设备能单卡训练工业级模型。