文本语音联合建模
该框架整合文本嵌入与语音频谱波形，在统一表示空间中捕捉跨模态共享与独有特征，适用于韩语这类黏着语的情感分析。
Kim, Taeyoung · 杨巨峰 · Park, Eunil
IEEE Transactions on Multimedia 2024
框架将韩语脚本句子的嵌入向量与语音数据的频谱图和波形整合，形成统一多模态表示，可识别潜在空间中的共享与独有特征。
实验结果首次给出效价和唤醒度分类指标，证实多模态表示对提升情感分析性能有显著影响。
方法直接针对韩语的黏着特性和语言歧义设计，能分析韩语文本及其相关语音。