语义匹配关键点检测模型

零样本开放词汇

利用文本提示即可检测任意物种的任意关键点，无需任何关键点标注。

Hao, Zhang · Xu, Lumin · Lai, Shenqi · Shao, Wenqi · 郑南宁 · 罗平 · Qiao, Yu · Zhang, Kaipeng

International Journal of Computer Vision 2024

技术优势

无需任何标注

测试时仅用文本提示即可检测任意关键点，不需支持图像或手工标注，省去大量标注工作。

跨物种泛化强

通过视觉与语言模型协同及域分布矩阵匹配，使模型对不同物种的关键点检测都具有良好泛化能力。

性能对标少样本

零样本设置下结果与最先进的少样本物种通用方法相当，省去少样本所需的支持图像。

应用场景

• 动物行为分析：用文本指定任意关键点，跨物种追踪动物姿态，替代人工标注和重新训练。
• 具身智能感知：为机器人提供零样本关键点感知，用自然语言即能指定操作对象的任意部位。
• 工业质检关键点：用文本定义检测点，无需收集缺陷样本标注，即可定位零部件关键位置。