多模态情感交互
该人形机器人通过伺服位移调整面部器官和颈部位置,结合GPT-3.5多模态情感识别与移情回应,实现更自然的人机交互体验。
刘小峰 · Qincheng, Lv · Li, Jie · Song, Siyang · Cangelosi, Angelo
IEEE Transactions on Cognitive and Developmental Systems 2024
机器人通过伺服位移调整面部器官和颈部位置,模仿人类表情。
结合GPT的多模态方法利用文本和图像,克服了仅用单一模态的局限。
GPT-3.5根据识别的情绪和语言生成移情回应,映射到机器人上,带来更舒适的交互体验。
在基准数据库上,该方法性能超越其他方法,并具备独特的共情回应能力。