11B参数夺冠
面向阿拉伯语的最大规模单语预训练模型，在分类与生成任务上全面刷新最优结果，并展现出显著的小样本学习优势。
Asaad, Alghamdi · Duan, Xinyu · Wei, Jiang · Zhenhai, Wang · Yimeng, Wu · 夏庆荣 · Wang, Zhefeng · Zheng, Yi · Rezagholizadeh, Mehdi · Huai, Baoxing · Peilun, Cheng · Ghaddar, Abbas
2023
11B 参数，远超此前阿拉伯语预训练模型，为学习更复杂的语言规律提供容量保障。
在 529GB 高质量阿拉伯语文本上训练，数据规模领先，提升模型泛化能力。
在多种阿拉伯语分类和生成任务上取得最先进性能，直接可用作强大基座。
相比现有最佳阿拉伯语 PLM，展现出更出色的小样本学习能力，降低任务适配成本。