知识提示多模态语言模型

亚十亿参数可部署

面向生物医学的轻量化多模态语言助手,通过外部知识提示抑制幻觉,在多个医学VQA基准上性能优异,且可在单块24GB GPU上训练与部署。

Lei, Liu · 苏向东 · Xingxiang, Zhou · 高光来

Engineering Applications of Artificial Intelligence 2026

参数信息

模型参数
0.79 B
训练部署显存
24 GB
知识库规模
80080
指令样本数
90000

技术优势

幻觉更少

通过引入外部知识提示,模型获得领域事实,减少不确定推理中的幻觉。

单卡可训

仅需0.79十亿参数,即可在单块24GB显存GPU上完成训练与部署,大幅降低硬件门槛。

知识动态加权

实体注意力优化模块让模型动态评估实体重要性,聚焦关键知识生成准确回答。

训练数据自给

从80,080个医学图像-文本对构建多模态知识库,并生成9万条视觉指令样本,无需额外标注。

应用场景