深度交互学习图像字幕模型

一种通过双模型互学与语义显著性评估来提升图像描述质量的训练策略。

Zhang, Jing · Kaixuan, Zhang · Yingshuai, Xie · 王喆

IEEE Transactions on Circuits and Systems for Video Technology 2025

技术优势

互相纠错的训练机制

两个对等网络通过周期性交替冻结与解冻进行交互学习,避免单一教师模型的偏差被学生模型盲目继承,提升整体训练的稳健性。

关注关键语义区域

利用注意力图引导知识迁移,使模型在互学过程中优先传递与图像语义最相关的特征,减少冗余信息的干扰。

多尺度视觉特征融合

级联桥接扩散模块通过级联扩散机制整合不同层级和注意力范围的视觉特征,能捕获更丰富的图像细节和上下文信息。

应用场景