扰动增广不变性模型

表征紧凑且判别

通过生成扰动对比对扩大对比多样性,并利用互信息上界控制表征紧凑性与信息量平衡,提升无监督表示性能。

Haoyang, Cheng · 李宏亮 · 吴庆波 · Qiu, Heqian · Zhang, Xiaoliang · 孟凡满 · Zhao, Taijin

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

对比多样性提升

为每个增广视图在特征空间生成扰动视图,使对比对更加多样,从而学到更好的表示。

无额外计算开销

通过最小化DAI损失的上界来避免因对比对增多带来的额外计算成本。

表征更紧凑

瓶颈版本通过增加原始对比对的方差并平衡共享信息量,学习到更紧凑的表示。

下游任务一致提升

在图像分类、目标检测和实例分割等多种下游任务上,相比流行对比学习方法均有提升。

应用场景