开源多模态模型

Zhe, Chen; Weiyun, Wang; Tian, Hao; Shenglong, Ye; Zhangwei, Gao; Erfei, Cui; Wenwen, Tong; Kongzhi, Hu; Jiapeng, Luo; Zheng, Ma; Ji, Ma; Wang, Jiaqi; Dong, Xiaoyi; Yan, Hang; Hewei, Guo; He, Conghui; Shi, Botian; Zhenjiang, Jin; Chao, Xu; Bin, Wang; Xingjian, Wei; 76372066; Wenjian, Zhang; Bo, Zhang; Cai, Pinlong; Wen, Licheng; Xiangchao, Yan; Min, Dou; Lu, Lewei; Zhu, Xizhou; Lu, Tong; Lin, Dahua; Yu, Qiao; Dai, Jifeng; Wang, Wenhai

开源多模态模型

一个开源的多模态大语言模型，通过强大的视觉编码器和动态高分辨率处理，在多项多模态基准上取得了与商业闭源模型相当的性能。

Zhe, Chen · Weiyun, Wang · Tian, Hao · Shenglong, Ye · Zhangwei, Gao · Erfei, Cui · Wenwen, Tong · Kongzhi, Hu · Jiapeng, Luo · Zheng, Ma · Ji, Ma · Wang, Jiaqi · Dong, Xiaoyi · Yan, Hang · Hewei, Guo · He, Conghui · Shi, Botian · Zhenjiang, Jin · Chao, Xu · Bin, Wang · Xingjian, Wei · 76372066 · Wenjian, Zhang · Bo, Zhang · Cai, Pinlong · Wen, Licheng · Xiangchao, Yan · Min, Dou · Lu, Lewei · Zhu, Xizhou · 路通 · Lin, Dahua · Yu, Qiao · Dai, Jifeng · 王文海

Science China Information Sciences 2024

参数信息

基准最先进数量: 8
最高输入分辨率: 4K

技术优势

分辨率够高

图像按宽高比和分辨率切成 1 到 40 个 448×448 的块，支持 4K 输入，细节不丢。

中文能力补上了

精心收集的中英双语数据集覆盖常见场景和文档图像，显著提升 OCR 和中文任务。

视觉骨干能复用

InternViT-6B 通过持续学习策略提升视觉理解，可迁移到不同 LLM 中复用。

应用场景

多模态感知：替代昂贵闭源 API，低成本获取多模态理解能力。
人机交互：开源权重可本地部署，保护交互数据隐私。
视觉问答：双语能力提升中文场景问答表现。
多模态AI芯片：4K 输入需要高性能芯片支持实时推理。
视觉引导机器人：高分辨率图像理解帮助机器人更准识别环境。