多模态讽刺检测新视角
通过融合事实不一致与情感不一致，该网络更全面地捕捉多模态讽刺中的细微矛盾，提升检测准确性。
Lu, Qiang · Long, Yunfei · 孙霞 · 冯筠 · Zhang, Hao
Information Fusion 2024
将讽刺不一致细分为事实不一致和情感不一致，并设计对应模块处理，覆盖了以往语义层面忽略的线索。
动态连接组件利用图注意力和掩码路由矩阵计算动态路由概率权重，能选择最合适的图文对来捕获事实不一致。
通过外部情感知识检索文本标记与图像对象之间的情感关系，重建跨模态图中的边权重，增强情感不一致的表征。