不一致引导细节正则化辅助学习框架

背景线抑制

通过引入语义分割、边缘检测和背景线检测三种辅助任务，该框架引导掩膜引导的抠图模型学习不同且有效的辅助表示，从而在真实场景中对复杂结构和阴影干扰具有更好的泛化能力

Jiang, Weihao · Xie, Zhaozhi · Yuxiang, Lu · Longjie, Qi · Jingyong, Cai · Hiroyuki, Uchiyama · Bin, Chen · 丁玥 · 卢宏涛

IEEE Transactions on Multimedia 2025

技术优势

抑制背景线干扰

通过引入背景线检测任务，模型能够显式学习背景线条的表示，并在抠图过程中抑制其干扰，提升前景提取的准确性。

避免细节过拟合

利用分割与抠图表示之间的不一致性来正则化细节细化，防止模型在错误区域过拟合低级细节，增强对复杂结构的适应性。

真实场景泛化提升

在更多样化的真实世界数据上引入语义分割和边缘检测任务，学习真实场景自适应的语义表示，使模型对复杂结构和阴影具有更好的鲁棒性。

应用场景

• 视频抠图：对复杂结构和阴影场景更鲁棒，适合替换现有视频抠图中依赖合成数据的模型，减少人工修正。
• 实时图像编辑：通过背景线抑制和细节正则化提升前景提取质量，适用于实时编辑中要求快速且边缘干净的应用。
• 视觉感知：多任务辅助学习提升特征表示能力，可用于视觉感知任务中需要精确对象分割与场景理解的场景。