细粒度识别
集成骨架与环境语言描述,利用大模型开放世界理解增强细粒度动作识别,保持骨架方法鲁棒性。
Tian, He · Yang, Chen · Xu, Gao · 王玲 · Ting, Hu · 程洪
IEEE Transactions on Circuits and Systems for Video Technology 2024
补充环境语言描述后,模型能区分身体动作相似但场景不同的类别,细粒度识别不再是瓶颈。
直接调用预训练大模型生成描述,无需为环境信息额外训练模块,即插即用,部署成本低。
该框架兼容现有骨架动作识别方法,即插即用,能提升其精度,无需推倒重来。