双标定网络

弱监督视频表征

通过查询与文本的相互标定，该网络双向消除监督噪声，为弱监督视频表征学习提供更可靠的语义对齐。

Long, Fuchen · Yao, Ting · Qiu, Zhaofan · 田新梅 · Jiebo, Luo · Mei, Tao

International Journal of Computer Vision 2023

参数信息

Kinetics-400 top-1准确率提升

1.3 %

技术优势

双向消除监督噪声

查询与文本相互标定，同时修正查询多义性和文本同构性带来的错误对应，使训练信号更可靠。

动作识别精度再提升

在YOVO-10M上预训练并在Kinetics-400上微调后，top-1准确率比ImageNet预训练的TAda2D方法提高1.3%。

线性评估即表现优越

在YOVO-3M上训练的视频特征无需微调，仅用线性分类器即可在动作识别上取得优异成绩，证明特征具有良好的迁移性。

大规模数据集公开

新收集的YOVO-3M和YOVO-10M数据集包含百万级视频及其查询和标题，为弱监督视频学习提供资源。

应用场景

• 具身智能：为机器人提供可迁移的视频表征，减少对人工标注的依赖。
• 动作识别：利用网络视频弱监督训练特征提取器，提升动作分类精度。
• 视频理解：学习通用视频表征，支撑多种视频理解任务。
• 多模态学习：对齐视频与查询/文本，提供可靠的多模态弱监督。