主体驱动生成模型

身份与背景解耦

该模型将主体身份特征与背景等无关信息解耦，从而在生成定制图像时兼得高身份保真度与文本一致性。

Hong, Chen · Yipeng, Zhang · Xin, Wang · Duan, Xuguang · Zhou, Yuwei · 朱文武

IEEE Transactions on Circuits and Systems for Video Technology 2024

技术优势

身份保真度更高

通过将身份相关信息与样本特定信息解耦，模型在生成时能更准确地保留主体身份特征，避免了背景或姿态等无关信息的干扰。

文本一致性更强

解耦后的嵌入使模型在遵循文本描述时更准确，因为生成过程不再受到样本特定视觉信息的干扰。

生成灵活可控

通过组合身份相关和身份无关的嵌入，用户可以在保持主体身份的同时灵活控制生成图像的背景、姿态等属性。

应用场景

• 生成式AI图像定制：用解耦嵌入生成高保真主体图像，替代传统微调中的信息纠缠，满足个性化定制需求。
• 扩散模型微调：提供新的解耦微调范式，同时优化共享文本嵌入和样本特定视觉嵌入，提升微调效果。
• 多模态生成：融合文本和视觉两种模态的嵌入，实现更灵活可控的多模态条件生成。