单图调控材质布局
无需微调扩散模型,将图像表示为分阶段提示嵌入集合,实现材质、风格与布局的解耦生成与编辑。
张玉欣 · 董未名 · 唐帆 · Nisha, Huang · Huang, Haibin · Ma, Chongyang · Lee, Tong-Yee · Deussen, Oliver · 徐常胜
ACM Transactions on Graphics 2023
只需一张参考图像,无需多张示例或额外标注,即可实现对材质、风格、布局等属性的独立编辑。
该方法直接利用预训练扩散模型,不需要针对每个新概念或属性进行额外的微调,节省了计算成本和时间。
将图像表示为分阶段提示嵌入的集合,使得材质、风格、布局等属性在潜在空间内相互分离,可以单独控制和组合。
支持对材质、风格、布局等多种属性进行图像引导或文本驱动的联合操作,生成新的组合结果。