文本与布局双对齐
同时建模文本到布局与布局到图像,显式学习对象空间关系,提升合成图像与文本的语义一致性。
Liang, Jiadong · 裴文杰 · 陆峰
IEEE Transactions on Circuits and Systems for Video Technology 2023
先生成布局再合成图像,将对象空间分布建模为序列关系,缓解直接映射难以捕捉空间模式的问题。
采用Transformer建模文本到布局序列,学习对象间的空间依赖,提升布局合理性。
在布局到图像阶段,针对每个对象学习文本-视觉语义对齐,使输入文本被精确融入生成过程。