视觉问答解耦对齐网络

解耦训练加速收敛

通过任务感知解耦与融合,同时提升生成精度与词汇多样性,优于现有图像字幕方法。

丁雨萱 · Liu, Lingqiao · 田春娜 · Zhang, Xiangnan · Tian, Xilan

Neurocomputing 2023

技术优势

低频词也能生成好

通过平衡训练分类器处理有偏数据,模型不再只偏向高频词,提高了低频词的生成准确率。

精度与多样性兼得

在MSCOCO上同时超过现有最优方法,说明解耦学习避免了精度和多样性之间的取舍。

应用场景