多原型对比网络

域迁移 mIoU 76.8%

用多原型在线聚类捕捉类内变化，并扩展至分布原型，实现对跨域像素特征的更精细对齐。

於俊 · Xie, Guochen · Quan-Sheng, Liu · 阚震 · 王雷 · Tianyu, Liu · 凌强 · Wei, Xu · 高放

IEEE Transactions on Multimedia 2025

参数信息

mIoU (GTA→Cityscapes)

76.8 %

mIoU (Synthia→Cityscapes)

68.4 %

mIoU (Cityscapes→DarkZurich)

54.5 %

mIoU (Cityscapes→ACDC)

56.4 %

技术优势

类内变化捕捉更全

每个类别用多个质心型原型而不是单一原型，能够表示同一类别在不同域中的多样视觉外观。

像素相似度度量更细

将原型从质心扩展到各向异性高斯分布，突出判别性维度，像素到原型的相似度计算更精细。

无缝融入现有方法

提出的原型对比学习模块可以无缝嵌入现有UDA框架，无需改动整体架构。

应用场景

• 自动驾驶视觉感知：让模型在仿真数据训练后，直接用于真实城市场景分割，无需标注。
• 机器人场景理解：帮助机器人适应不同环境下的物体外观差异，提升语义理解鲁棒性。
• 工业视觉质检：将质检模型从合成缺陷样本迁移到真实产线，减少现场标注成本。
• 无人机航拍语义分割：让无人机在不同光照和地貌下保持分割精度，无需逐场景重新标注。