跨视角联合注意网络

自监督协同分析

通过同时学习空间约束下的跨视角联合注意与共享表示,无需人工标注即可将第一人称与第三人称视频中的对应区域自动关联,为双视角视频匹配提供统一表征。

Yu, Huangyue · Minjie, Cai · 刘云飞 · 陆峰

IEEE Transactions on Pattern Analysis and Machine Intelligence 2023

技术优势

无需人工标注

通过自监督方式同时学习联合注意与共享表示,避免了对跨视角对应区域的昂贵标注。

匹配性能领先

在公开数据集的跨视角视频匹配任务上超越了现有最佳方法。

支持时序关联

联合注意的时序转移模型使捕捉跨时间的本质信息更加稳健。

应用范围广

学到的联合信息可惠及多种应用,并通过定性与定量实验得到验证。

应用场景