协同过程对齐框架

免步骤标注学教学视频

提出弱监督框架CPA，无需人工步骤级标注，即可从教学视频中联合挖掘步骤语义、对齐视频相关性，并相互增强提升表示质量。

Tianyao, He · Liu, Huabin · Zelin, Ni · Li, Yuxi · Xiao, Ma · Zhong, Cheng · Zhang, Yang · Yingxue, Wang · 林巍峣

International Journal of Computer Vision 2024

技术优势

免标注

协同步骤挖掘模块在没有步骤级标注的情况下自动分割时间步骤并学习伪步骤。

四任务通吃

同一框架在序列验证、少样本动作识别、时间动作分割和动作质量评估上均有效。

模块互促

步骤挖掘与帧-步骤对齐模块相互增强，共同提升步骤知识提取与相关性度量准确性。

应用场景

• 视频表示学习：免标注提取步骤语义，增强视频表示的过程感知。
• 视频问答：提供视频间细粒度对齐，辅助过程型问题的回答。
• 机器人技能学习：从教学视频挖掘步骤，为机器人技能模仿提供结构。