多视角动态感知框架

显式建模多模态混合

一种动态交互架构，通过多视角语义感知与互学习，在中文有害表情包检测任务中实现更灵活的多模态信息融合。

Jiapei, Hu · Lyu, Yifan · Yifan, Chen · Kuntao, Li · 薛云 · Jinghua, Liang

Information Processing and Management 2026

参数信息

有害表情包检测 F1 提升

1.06 %

有害类型识别 F1 提升

2.77 %

数据集规模

12,000

技术优势

交互更灵活

每个感知节点配有独立软路由器，动态调节信息流，可针对不同表情包采用不同交互模式。

互补学习

分层互学习模块通过互信息最大化促进双分支互补表示学习，提升多模态理解能力。

应用场景

• 网络内容安全：识别网络传播中的有害表情包，辅助内容审核。
• 社交媒体监管：监测社交平台上的有害多模态内容，支持平台治理。
• 多模态智能体：为多模态智能体提供动态交互机制，增强理解能力。