JSS-CLIP视频识别网络

高效时空建模

通过轻量侧网络和隐式对齐模块，在不增加大量计算开销的情况下实现视频动作识别。

刘丹 · Zhouli, Shen · Ai, Peng · Ma, Zhiyuan · Mi, Jinpeng · 叶茂 · Zhang, Jianwei

Information Fusion 2026

技术优势

不用重训大模型

冻结CLIP主干，仅训练侧网络，避免对大规模预训练模型的反向传播，大幅降低训练显存和计算量。

运动信息更丰富

隐式对齐模块引导生成分层的时空拼图特征图，这些特征图封装了丰富的运动信息和动作线索，有助于理解动态内容。

效率与性能兼顾

在三个大规模动作数据集上实验，结果一致表明JSS-CLIP在效率和性能上具有竞争力。

应用场景

• 视频动作识别：在不增加大量算力的情况下，对视频中的动作进行识别，替代需全模型微调的方法。
• 多模态学习：利用CLIP的视觉-语言对齐先验，通过侧网络注入时序信息，提升视频理解。
• 机器人视觉：在机器人端侧高效处理视频流，实时识别动作，无需云端大模型。
• 边缘计算：冻结主干和侧网络设计大幅降低计算量，适合在边缘设备上部署。