跨视图与实例联合建模
将实例作为先验,通过注意力机制同时利用视图内和视图间的实例相关性,在分类任务中优于单视图方法。
李锦兴 · Chuhao, Zhou · Ji, Xiaoqiang · 李木 · 卢光明 · 徐勇 · Zhang, David
Information Fusion 2024
直接以实例为先验,保留不同实例中的有价值信息,而不是先抽象成统一特征再融合。
从不同视图采样少量实例作为模板,新实例按其与模板的相似度进行注意力加权,从而捕获实例间相关性。
不只在每个单视图内做实例注意力,还跨视图计算注意力并融合,得到每个视图的融合注意力,从而利用多视图互补性。