表征紧凑且判别
通过生成扰动对比对扩大对比多样性,并利用互信息上界控制表征紧凑性与信息量平衡,提升无监督表示性能。
Haoyang, Cheng · 李宏亮 · 吴庆波 · Qiu, Heqian · Zhang, Xiaoliang · 孟凡满 · Zhao, Taijin
IEEE Transactions on Circuits and Systems for Video Technology 2023
为每个增广视图在特征空间生成扰动视图,使对比对更加多样,从而学到更好的表示。
通过最小化DAI损失的上界来避免因对比对增多带来的额外计算成本。
瓶颈版本通过增加原始对比对的方差并平衡共享信息量,学习到更紧凑的表示。
在图像分类、目标检测和实例分割等多种下游任务上,相比流行对比学习方法均有提升。