融合脑功能信息以区分相同文本携带的不同意图，实现多模态意图识别。
Li, Zhongjie · Zhang, Gaoyan · Okada, Shogo · 王龙标 · Bin, Zhao · 党建武
Knowledge-Based Systems 2024
通过跨模态变换器将脑功能信息适配到声学-文本表示中，使模型能捕捉到仅从文本无法区分的意图差异。
联合优化意图识别主任务和情绪识别辅助任务，消融实验显示去除辅助任务会降低性能，说明情绪信息有助于意图理解。
构建了包含声学、文本和脑电数据的数据集CMSLIU，覆盖相同文本的不同意图表达，为模型评估提供了基础。