跨注意力解缠网络

组合零样本新基准

利用跨注意力机制学习属性与对象的解缠表示,并通过EMD正则约束概念学习,在闭环和开环设定下均显著超越现有方法。

Shaozhe, Hao · 韩锴 · Wong, Kwan Yee Kenneth

2023

技术优势

解缠更彻底

利用跨注意力机制将属性与对象概念分离,EMD正则进一步约束注意力集中在目标概念上,提高概念表示的纯度。

识别更准

通过结合多个概念概率改进推理过程,在三个基准数据集上取得新SOTA,闭环和开环设定下均显著优于之前工作。

推理更灵活

得益于概念解缠,推理时能够组合多个概念概率来调整预测分数,使模型更适应开放世界场景。

应用场景