多模态事件抽取模型

融合音频提升性能

在文本事件抽取基础上引入音频特征，利用音频中的有效信息提升事件抽取性能。

Xinlang, Zhang · 王中卿 · 李培峰

2023

技术优势

引入音频特征

模型同时利用文本和音频信息，结合音频中的有效特征进行事件抽取，性能得到提升。

在标准数据集上验证有效

在中文 ACE 2005 数据集上的实验表明，提出的模型能有效提升事件抽取性能。

应用场景

• 多模态事件抽取：用音频特征增强事件抽取，适用于多模态信息丰富的场景。
• 智能语音交互：从语音信号中抽取事件，提升语音交互的语义理解能力。
• 信息抽取：将音频信息纳入抽取框架，拓宽信息抽取的数据模态。