缺模态仍精准识别
通过跨模态分布约束，在仅单一模态输入时可利用多模态知识进行连续情感识别。
Li, Chiqin · 解仑 · Shao, Xingmao · Pan, Hang · 王志良
Engineering Applications of Artificial Intelligence 2024
推理阶段仅需一种模态，通过共享空间利用多模态知识，缺失模态时分类性能依然保持稳定。
采用宽松的跨模态分布匹配约束，使视频和生理信号在共享空间中分布接近，从而有效利用互补信息增强判别能力。
进一步实验证明该网络能处理部分缺失的模态，扩展至其他模态，展现出实际应用潜力。