知识增强动作识别网络

外部知识蒸馏提精度

该模型通过挖掘人-物交互关系作为外部知识,并利用稀疏先验正则化,在多个动作识别基准上达到了领先水平,为一类需要融合外部知识的视频理解任务提供了新的网络设计思路。

Zhaoqilin, Yang · 安高云 · Zheng, Zhenxing · Cao, Shan · Fengjuan, Wang

Expert Systems with Applications 2024

参数信息

动作识别准确率
98.2 %
动作识别准确率
84.3 %
动作识别准确率
97.1 %
动作识别准确率
82.9 %
零样本动作识别准确率
51.6 %
零样本动作识别准确率
77.7 %

技术优势

人-物交互知识可注入

通过外部知识嵌入模块生成并利用人-物交互关系作为外部知识,使模型学习到更有效的特征表示。

稀疏先验用得起来

在损失函数中引入稀疏正则化,赋予模型利用分类任务中固有稀疏先验知识的能力。

直接间接推理融合

多推理模块从直接和间接两个角度获得分类结果,融合不同推理模块的输出得到最终预测。

应用场景