跨语言对话零训练
一种通过向量运算直接将预训练语言模型转化为具备指令跟随与人类价值对齐能力的对话模型的方法。
Shih-Cheng, Huang · Pin-Zu, Li · Yu-Chi, Hsu · Kuang-Ming, Chen · Yu Tung, Lin · Shih-Kai, Hsiao · Tsai, Richard Tzong Han · Lee, Hung Yi
2024
只需将聊天向量加到持续预训练模型的权重上，无需任何进一步训练或微调。
聊天向量通过模型算术获得，可应用于多种基座模型和语言，无需修改模型架构。
实验覆盖多种语言、基座模型和聊天向量，证明方法具有广泛适用性。