视觉上下文融合识别模型

识别精度98.1%

融合视觉与环境上下文多模态数据，在复杂家庭场景中实现优于传统机器学习模型的用户场景与行为序列识别。

Wenyu, Yuan · 常丹妮 · Chenlu, Mao · 76724520 · Ke, Ren · 韩挺

Advanced Engineering Informatics 2025

参数信息

平均识别准确率

98.1 %

多模态融合带来的准确率提升

1.8 %

技术优势

识别准确率高达98.1%

融合视觉与上下文特征，模型在多种家庭活动识别中平均准确率达到98.1%，超过决策树、支持向量机等传统模型。

多模态融合提升明显

与仅使用单一模态数据的方法相比，多模态特征融合使平均准确率至少提升1.8个百分点。

行为序列预测有效

该方法被用于细粒度人类行为序列预测，在所有构建的场景中均表现出良好的预测性能。

应用场景

• 具身智能场景理解：融合视觉与上下文数据，提升具身智能在复杂场景中的理解能力，无需人工标注环境。
• 服务机器人环境感知：利用多模态数据融合，使服务机器人更准确地感知用户场景和行为，从而提供个性化服务。
• 人形机器人行为交互：通过识别用户行为序列，人形机器人能够预测用户意图并做出自然交互反应。
• 智能家居用户建模：整合环境传感器与视觉数据，构建精细的用户行为模型，实现智能家居的主动服务。