多模态提示动作检测网络

零样本超越STALE 5.1%

利用多模态提示与文本增强动作建模，实现未见动作的精确检测与定位。

Asif, Raza · Yang, Bang · 邹月娴

IEEE Transactions on Circuits and Systems for Video Technology 2024

参数信息

零样本检测增益

5.1 %

技术优势

对齐更好

在冻结的CLIP视觉和文本分支中插入可学习的逐层提示，并建立两者之间的强耦合，从而大幅提升跨模态对齐。

更准的先验

利用文本的简洁语义辅助计算类别无关的动作性分数，为动作分类和定位提供准确的先验信息。

成本更低

先在概念丰富的图像识别数据集（如ImageNet）上进行多模态提示学习，然后冻结提示，再进行时序动作检测微调，显著降低计算开销。

泛化更强

在ImageNet上学到的多模态提示在10个图像识别数据集上表现出优于其他方法的域泛化能力。

应用场景

• 智能视频分析：无需标注新动作类别即可扩展检测范围，降低数据标注成本。
• 机器人视觉：使机器人能识别训练中未见过的动作，提升在开放环境中的交互能力。
• 物联网监控：在监控场景中检测新出现的异常行为，无需重新训练模型。
• 无人机视觉：让无人机在空中视频中定位未见过的动作，适应多样任务。
• 多模态理解：通过多模态提示学习强化视觉与文本的对齐，提升跨模态理解。