多模态移情对话框架

机器人也能共情

融合语音、视觉与文本线索，让服务机器人听懂情绪、接得住话，并同步生成自然的表情与动作。

高岳 · Fu, Yangqing · Ming, Sun · 高峰

IEEE Transactions on Affective Computing 2024

参数信息

人机相似度

75 %

技术优势

回复以假乱真

多模态融合与移情对话生成使机器人回复在盲测中无法被区分，用户感知自然。

表情动作同步

表达生成模块根据对话内容实时生成匹配的表情与手势，提升交互一致性。

自然度显著提升

眼动追踪对比显示，人机交互的注视模式更接近人人交互。

应用场景

• 医疗陪护机器人：用共情对话与情感表达陪伴患者，缓解孤独焦虑。
• 服务人形机器人：让服务机器人根据用户情绪调整回应，提升服务体验。
• 情感交互界面：作为情感交互接口，赋予设备理解与表达情感的能力。
• 具身智能交互：让具身智能体在对话中同步表情动作，交互更自然。