质量感知CLIP模型

精细分级更准

引入细粒度质量等级分层策略,通过两阶段训练充分利用CLIP的文本与图像编码器,捕获与感知质量高度相关的特征,在多个基准上超越现有方法。

Wensheng, Pan · Zhifu, Yang · Dingming, Liu · Chenxin, Fang · Yan, Zhang · 戴平阳

Lecture Notes in Computer Science 2024

参数信息

SRCC提升幅度
1.2 %
SRCC提升幅度
4.7 %
SRCC提升幅度
4.8 %

技术优势

质量分级更细

把质量评估从两到五级粗分类扩展到更宽范围的分层,能更精确地区分图像质量差异。

两阶段训练更准

先优化文本编码器的描述,再优化图像编码器和质量感知模块,充分挖掘CLIP的表示能力,捕获与感知质量高度相关的特征。

多个基准上领先

在CSIQ、TID2013、KADID上SRCC分别提升1.2%、4.7%、4.8%,达到或超越现有最佳方法。

应用场景