模型幻觉减半
针对不同视觉语言模型的幻觉分布特点，生成定制化指令数据，比通用数据集更有效地抑制跨模态幻觉。
Rui, Hu · Yahan, Tu · Shuyu, Wei · 路冬媛 · 桑基韬
Information Sciences 2025
从模型的输出响应和对应图像中提取必要信息，诊断出模型自身的幻觉概念分布，准确率达到90%。
基于诊断结果生成与模型幻觉特异性相匹配的指令数据，而非使用千篇一律的通用数据集。
在幻觉基准测试上，本方法生成的靶向指令数据比之前的数据集更有效地缓解了幻觉。