多模态特征图扩散模型

弱监督下动作定位更准

利用扩散模型生成高质量多模态特征图,有效改善弱监督时序动作定位中前景与背景的分离性,从而提升动作预测的完整性。

Yuanbing, Zou · 赵清杰 · Shanshan, Li

Engineering Applications of Artificial Intelligence 2025

参数信息

上比先前最优方法提升
1.8 %

技术优势

动作定位更完整

利用硬掩码作为伪真值训练扩散模型,生成的特征图能有效分离前景与背景,减少漏检。

超越现有最优方法

在THUMOS14上mAP@0.5比先前最优方法提升1.8个百分点,达到70.6%。

无需额外人工标注

仅使用视频级标签,通过硬掩码策略自动生成帧级伪标签,降低标注成本。

应用场景