布局桥接文本图像合成

文本与布局双对齐

同时建模文本到布局与布局到图像,显式学习对象空间关系,提升合成图像与文本的语义一致性。

Liang, Jiadong · 裴文杰 · 陆峰

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

布局显式引导

先生成布局再合成图像,将对象空间分布建模为序列关系,缓解直接映射难以捕捉空间模式的问题。

空间关系建模

采用Transformer建模文本到布局序列,学习对象间的空间依赖,提升布局合理性。

文本视觉对齐

在布局到图像阶段,针对每个对象学习文本-视觉语义对齐,使输入文本被精确融入生成过程。

应用场景