混合模态性能均衡
首个统一多模态大语言模型采用专家混合架构，在混合多模态数据集上显著降低性能偏差，提升多专家协作与泛化能力。
Li, Yunxin · Shenyuan, Jiang · 户保田 · Wang, Longyue · Wanqi, Zhong · Luo, Wenhan · Lin, Ma · Min, Zhang
IEEE Transactions on Pattern Analysis and Machine Intelligence 2025
通过模态特定编码器与连接器，统一表示多种模态，可处理广泛的多模态输入。
利用MoE稀疏架构，通过模态级数据并行和专家级模型并行，实现高效训练和推理。
采用渐进式训练策略，先跨模态对齐，再训练模态特定专家激活偏好，最后整体微调，提升多专家协作与泛化。
在混合多模态数据集上显著降低不同模态间的性能偏差，使各模态表现更均衡。