文本引导图像修复网络

语义一致修复

用文本描述引导缺失区域生成，重建的描述与原描述语义对齐，避免传统修复中出现的语义漂移。

Li, Ailin · 赵磊 · Zuo, Zhiwen · Wang, Zhizhong · Wei, Xing · Dongming, Lu

Neurocomputing 2023

参数信息

validated on CUB-

-2011 bird

技术优势

语义一致性有保障

重建的文本描述与输入描述语义对齐，防止生成图像跑偏到无关类别。

文本可指导修复

通过视觉感知的文本过滤机制，自适应关注与缺失区域相关的词汇，让修复结果更符合预期。

应用场景

• 多模态内容生成：用一句文本描述即可控制缺失区域生成，减少人工标注或编辑成本。
• 感知数据修复：将传感器数据缺失视为图像修复问题，利用文本提示恢复语义一致的读数。
• 机器人视觉补全：机器人可根据任务描述补全被遮挡或缺失的视觉区域，提升感知鲁棒性。
• 脑机接口中的图像重建：用脑信号对应的文本描述引导图像重建，使重建内容与意图语义对齐。
• 计算成像修复：在传统成像修复流程中加入文本条件，抑制语义级伪影和错误填充。