同余增强融合框架

多模态仇恨模因检测

该框架通过同余增强感知器，在共享潜在空间中无缝融合多模态表征，同时保持子融合空间中的特征完整性，从而隐式推理模因背后的微妙隐喻。

Fan, Wu · Gao, Bin · Xiaoou, Pan · Li, Linlin · Yujiao, Ma · 刘树田 · 刘正君

Information Processing and Management 2024

技术优势

隐式推理隐喻

在共享潜在空间中融合主语义和辅助语境，同时保持子融合空间中的特征完整性，能够推理模因背后的微妙隐喻。

统一多源表征

通过新颖的前缀统一层，将多源表征预编码为具有统一空间维度的轻相关嵌入，消除模态间维度不一致。

保持特征完整

同余增强感知器在共享潜在空间联合学习主次语义的同时，在子融合空间中保持特征完整性，避免信息损失。

应用场景

• 多模态情感分析：用于检测图文弱相关的隐含情绪。
• 仇恨言论检测：识别更具攻击性和隐蔽性的仇恨模因。
• 社交网络内容安全：辅助平台自动过滤仇恨模因内容。
• 多模态语义推理：结合真实世界知识推理隐藏含义。