音文细粒度对齐
把音频帧与文本词当作博弈参与者建模，在无细粒度标注下学习更精细的跨模态对应，显著提升检索性能。
Yifei, Xin · Baojun, Wang · Shang, Lifeng
IEEE Signal Processing Letters 2023
通过合作博弈建模音频帧与文本词的潜在对应，将不确定性作为额外学习信号，避免了人工标注细粒度对齐的成本。
引入加权标记级对齐模块，在音频帧和文本词级别捕捉跨模态语义关联，弥补了仅用整段对比学习的不足。
实验表明，WTA 在多个数据集上显著提升检索性能，结合 GTI 后性能进一步大幅提升。