自监督协同分析
通过同时学习空间约束下的跨视角联合注意与共享表示,无需人工标注即可将第一人称与第三人称视频中的对应区域自动关联,为双视角视频匹配提供统一表征。
Yu, Huangyue · Minjie, Cai · 刘云飞 · 陆峰
IEEE Transactions on Pattern Analysis and Machine Intelligence 2023
通过自监督方式同时学习联合注意与共享表示,避免了对跨视角对应区域的昂贵标注。
在公开数据集的跨视角视频匹配任务上超越了现有最佳方法。
联合注意的时序转移模型使捕捉跨时间的本质信息更加稳健。
学到的联合信息可惠及多种应用,并通过定性与定量实验得到验证。