通信降88%
面向巨型嵌入模型训练的分布式缓存管理框架,利用嵌入的偏斜流行度分布和细粒度一致性模型,显著降低嵌入通信开销并提升训练可扩展性。
Miao, Xupeng · 张海林 · Shi, Yining · Nie, Xiaonan · 杨志 · Tao, Yangyu · Jiang, Jie · 崔斌
VLDB Journal 2025
利用嵌入的偏斜流行度分布,仅缓存热门嵌入,从而减少与参数服务器的通信。
相较于现有基线,实现高达20.68倍的性能加速。
提供每个嵌入粒度的细粒度一致性保证,允许写操作也能容忍短暂的不一致。