长短期协同决策Transformer

在线动作检测SoTA

双路径协作决策框架，通过长短期历史信息加权融合，纠正远程无关视频引起的误判，统一处理在线动作检测与预测任务。

Sensen, Wang · Zhang, Chi · 王乐 · Liu, Yue-Hu

Pattern Recognition 2025

参数信息

在线动作检测精度 (THUMOS'14)

72.6 %

在线动作预测精度 (THUMOS'14)

59.2 %

在线动作检测精度 (TVSeries)

89.8 %

在线动作预测精度 (TVSeries)

84.2 %

技术优势

无需未来信息

两个路径都只基于历史视频进行推理，在线检测与预测在因果约束下实现，适合实时流式处理。

纠正无关远程干扰

短期路径仅访问近期视频，当长期路径被远程无关内容误导时，通过加权决策降低错误影响，提升低置信度结果的可靠性。

统一检测与预测

一个模型同时处理在线动作检测和预测，共享表征，避免分别训练两个系统。

精度达到领先水平

在THUMOS’14和TVSeries两个基准上，在线检测与预测精度均取得最佳结果。

应用场景

• 智能视频监控：实时识别监控流中的异常行为，减少误报。
• 人机交互：让人机交互系统即时理解用户动作意图。
• 机器人视觉：帮助机器人实时预测人类动作，提前规划反应。
• 实时视频分析：对视频流进行在线动作检测与预测，降低处理延迟。