MuSAM语义相似度模型

多模态自选扩展

该模型将知识增强与上下文过滤相融合，实现自选择性语义扩展，通过多模态信息融合提升中文语义相似度任务的性能。

72051804 · 戴青云 · 72051805 · Zeng-Hui, Wang · Wang, Changdong

IEEE Transactions on Industrial Informatics 2024

参数信息

在五个数据集上性能提升

4 %

技术优势

自动滤除弱相关信息

模型对扩展出的多模态信息进行过滤和去噪，仅保留与词语强相关的部分，避免无关信息干扰语义表示。

无需人工干预即可落地

模型以完全工程化的方式设计，可以直接应用于实际场景，省去人工调整和适配步骤。

多模态提升语义表达

融合多个模态的互补信息来构建词语对的语义表示，从而更好地捕捉复杂语义关系，带来的性能提升最高达21%。

应用场景

• 工业信息语义匹配：自动匹配工业系统中的异构信息，减少人工标注和规则制定。
• 物联网数据语义关联：在物联网多源数据间建立语义关联，支撑设备协同与数据分析。
• 多模态信息检索：结合文本、图像等模态提升检索相关性，减少人工筛选成本。
• 制造业语义搜索：让生产文档等非结构化数据可被语义检索，替代关键词匹配的局限。