防表示坍缩
结合上下文和序列间对比学习,同时捕捉细粒度和粗粒度判别信息,避免表示坍缩。
Bo-Wen, Xiao · 邢红杰 · Li, Chunguo
Information Fusion 2025
通过交叉重建作为额外正则项,避免表示坍缩,从而获得鲁棒表示。
结合上下文对比学习与序列间对比学习,同时提取细粒度和粗粒度判别信息,提升异常区分能力。
首次引入线性注意力网络学习时序依赖,降低计算复杂度,适合大规模数据。
可学习的尺度因子λ_n自适应调整负样本惩罚程度,有效提升上下文表示质量。