多信号可控描述
让图像字幕同时服从多种控制信号,而不是只能响应单一约束。
Zhen, Wang · 肖俊 · 庄越挺 · 高菲 · 邵健 · Chen, Long
International Journal of Computer Vision 2024
直接使用预训练的 GPT-2 作为语言模型,通过轻量级提示生成网络适配不同控制信号。
通过拼接提示,可扩展到更多种类的组合控制信号,同时满足多个约束。
使用轻量级提示生成网络,降低计算开销,同时保持性能。