无负样本多模态表征模型

通过权重共享分支从无标签的多模态数据（如骨骼序列和IMU信号）中学习有效表示，在不使用负样本的情况下实现了对现有单模态和多模态基线的超越。

Huaigang, Yang · Ren, Ziliang · 袁华强 · 徐震宇

Frontiers in Neuroscience 2023

技术优势

无需负样本

通过权重共享分支和对比学习，无需负样本即可学习有效表示，简化训练流程。

多模态融合提升

利用不同模态间的关联性和互补性，特征表示更优，识别性能提升。

应用场景

• 人体动作识别：直接用于识别视频或传感器中的人体动作，无需大量标注数据。
• 机器人交互：帮助机器人理解人类动作，提升交互自然度。
• 脑机接口：可用于分析EEG等脑信号中的动作意图，辅助BCI系统。
• 可穿戴设备：处理IMU等可穿戴传感器数据，实现轻量级动作识别。
• 工业机器人：识别操作人员的手势与动作，用于安全协作或指令输入。