样本引导文本图像生成网络

风格与语义兼得

该生成网络在保持文本语义一致的同时,能引入样本独有的风格元素,实现可控的多样化图像合成。

Li, Ailin · 赵磊 · Zuo, Zhiwen · Wang, Zhizhong · 邢卫 · 鲁东明

IEEE Multimedia 2024

技术优势

风格可控

以参考图为引导,将未在文本中描述的独特风格元素迁移到生成图,避免随机多样性带来的风格不可控。

语义不漂移

通过上下文感知的交叉注意力对齐,生成图在引入风格的同时仍与文本描述紧密对齐,避免风格迁移导致内容失真。

免风格标注

无需预先标注风格属性,网络通过对抗学习和风格保留损失从单个参考图中自动学习风格,降低数据标注成本。

应用场景