多模态计算序列模型

构建多模态知识库

通过多模态节点、关系和字典模型增强多模态知识表示，实现灵活的多模态特征利用。

Chen, Donghua · 张润彤

IEEE Transactions on Multimedia 2023

参数信息

索引创建平均时间成本降低率

55.07 %

索引创建精确匹配率提高

68.60 %

搜索时间成本降低率

98.90 %

多模态数据表示平均正确率

82.70 %

BOW特征提取器时间成本降低

1.13 %

LBP特征提取器时间成本降低

22.14 %

Volume特征提取器时间成本降低

39.87 %

VGGish特征提取器时间成本降低

5.65 %

技术优势

索引创建快

通过多模态计算序列模型和特征提取器优化，平均时间成本比基线降低约55.07%。

搜索更快

训练后的深度自编码器模型可将搜索时间成本降低98.90%，优于现有方法。

表示更准

GAN-CNN模型在多模态数据表示上达到82.70%的平均正确率。

应用场景

• 多模态检索：快速构建索引，加速跨模态数据检索。
• 多媒体索引：降低创建多模态索引的时间成本。
• 生成对抗网络：增强多模态特征表示和动态更新。
• 知识图谱：拓展传统知识图谱到多模态知识库。