组合提示网络

多信号可控描述

让图像字幕同时服从多种控制信号,而不是只能响应单一约束。

Zhen, Wang · 肖俊 · 庄越挺 · 高菲 · 邵健 · Chen, Long

International Journal of Computer Vision 2024

技术优势

无需重新设计架构

直接使用预训练的 GPT-2 作为语言模型,通过轻量级提示生成网络适配不同控制信号。

组合控制信号

通过拼接提示,可扩展到更多种类的组合控制信号,同时满足多个约束。

轻量级设计

使用轻量级提示生成网络,降低计算开销,同时保持性能。

应用场景