全局-局部注意力机制

动作边界更准

分类与定位两任务各取所需，不增参数实现更强视频表征。

汤一平 · 郑阳 · 立陈 · 郭开泰 · Haihong, Hu · 梁继民

Pattern Recognition 2023

参数信息

平均精度均值 (mAP)

67.3 %

推理速度

1373 FPS

技术优势

分类更准

全局注意力在整个视频中聚合与动作相似的特征并抑制其他特征，训练过程中增强了表征的判别力。

边界更准

局部注意力用高斯加权函数整合每个动作及其周围上下文信息，使动作定位更精确。

不增参数

全局-局部注意力机制在不引入额外参数的情况下产生更强的视频表征，便于部署。

应用场景

• 视频理解：提供兼顾判别力与定位能力的视频表征，作为下游任务基础。
• 动作检测：直接用于时序动作检测，分类定位双提升。
• 监控分析：快速精确检测动作，适合实时监控分析。
• 边缘视频处理：1373 FPS推理速度支持边缘端部署。
• 智能交互：实时动作检测可增强交互系统的响应性与准确性。