视觉对比解码

免训练即插即用

无需额外训练即可缓解大型视觉语言模型的物体幻觉问题，生成的描述与图像内容高度一致。

Leng, Sicong · Hang, Zhang · Guanzheng, Chen · Li, Xin · Lu, Shijian · Miao, Chunyan · Bing, Lidong

2024

技术优势

不增加训练成本

VCD 无需额外训练即可生效，可直接应用于现有模型。

通用性强

VCD 在多个 LVLM 家族上均能缓解幻觉，并在通用基准测试上取得优异表现。

无需外部工具

VCD 不依赖外部工具或额外数据，易于集成。

应用场景

• 多模态模型优化：在不改变模型结构的前提下，为现有多模态模型直接替换解码策略，减少幻觉输出。
• 机器人视觉：提升机器人视觉问答和描述的可靠性，避免因幻觉产生错误操作依据。
• 智能视觉系统：为智能视觉系统提供更准确的视觉-语言对齐，增强输出可信度。
• 工业质检：减少工业质检报告中的物体误报，提高自动化判定的精确性。