多模态条件扩散模型

遮挡场景精确姿态

引入关节关系与姿态感知掩码，抑制遮挡下误关节扰动，生成更合理的3D姿态。

Xu, Xixia · 李嘉茂

IEEE Transactions on Multimedia 2026

技术优势

抗遮挡

关节关系学习（JRCL）用GCN建模柔性关节连接，抑制混淆关节的干扰。

姿态更合理

姿态感知掩码（PMCL）强化模型对姿态区域的关注，提升细节捕捉精度。

多模态融合

多模态条件与姿态交互学习（MCPI）最大化条件作用，充分发挥多模态感知能力。

应用场景

• 人机交互姿态感知：在遮挡交互场景中稳定感知人体关节，让机器人理解动作意图。
• 医疗动作分析：从单目视频重建3D关节，辅助步态或康复动作的量化评估。
• 无人机视角人体检测：在俯视遮挡下输出合理3D姿态，提升无人机搜索识别能力。
• 可穿戴运动监测：通过单目视频估计3D关节，替代部分惯性传感器简化穿戴。