标签语义提示调优模型

小样本诊断精度更高

利用标签语义与图像特征的跨模态对齐,在数据稀缺的医学图像任务中实现优于全量微调和现有提示方法的准确性与泛化能力。

Yu, Bai · 白亮 · Yang, Xian · 梁吉业

IEEE Transactions on Circuits and Systems for Video Technology 2025

技术优势

标签语义用起来

通过基于交叉注意力的模块将标签语义融入视觉提示,使图像特征与目标标签对齐,从而捕捉与特定医学状况相关的细粒度细节。

小样本也不怕

在八个医学数据集上显著提升诊断准确性,尤其在数据有限场景下优于全量微调和现有提示方法。

不用存多份参数

相比需要为每个任务存储独立模型参数的传统微调,该方法通过提示调优大幅降低计算开销。

应用场景