金字塔时序网络

免检测对齐

直接作用于原始视频，保留身体动作等关键信息，无需人脸检测和对齐。

Min, Li · 张笑钦 · Tangfei, Liao · Sheng, Lin · Xiao, Guobao

IEEE Transactions on Image Processing 2024

技术优势

省去检测对齐

传统范式只关注面部区域，而PTH-Net直接在原始视频上工作，避免了对人脸检测和对齐的依赖，保留了身体动作等宝贵信息。

计算成本更低

在八个具有挑战性的基准上表现优异，同时计算成本相比之前方法更低。

应用场景

• 人机交互：免检测对齐的实时表情识别，让交互更自然流畅。
• 情感计算：保留身体动作等多模态线索，提升情感识别精度。
• 智能安防：直接处理监控视频流，无需逐帧人脸检测，效率更高。
• 可穿戴情感监测：轻量级网络适合可穿戴设备实时分析情感状态。
• 机器人情感交互：机器人可即时理解用户表情，提升人机共情体验。