多模态投入度检测模型

实时估计更精准

该模型有效融合音频与视频特征，能够更准确地实时估计用户参与度。

Chunxi, Yang · Wang, Keze · Chen, Peter Q. · MK Michael, Cheung · Zhang, Youqian · Fu, Eugene Yujun · Ngai, Grace

2023

参数信息

CCC

0.70

技术优势

准确率更高

CCC 达到 0.70，比基线模型的 0.59 有明显提升。

实时多模态处理

利用音频和视频特征，在实时场景下动态调整响应。

应用场景

• 人机交互：让系统实时感知用户投入度并自适应交互。
• 教育机器人：让教育机器人根据学生投入度调整教学策略。
• 群组交互分析：自动衡量群组对话中每位成员的投入度。
• 用户状态感知：底层提供实时的用户投入度感知能力。