生成层次特征

多任务通用

从预训练GAN中学习与层对齐的视觉特征，兼具生成与判别能力。

徐英豪 · Shen Y. · Zhu, Jiapeng · Yang, Ceyuan · 周博磊

IEEE Transactions on Pattern Analysis and Machine Intelligence 2023

技术优势

特征通用

同一个编码器输出的层次特征可以迁移到图像编辑、协调、人脸验证、关键点检测等多个视觉任务，减少了逐任务重新训练特征提取器的需要。

少样本分割

通过适当的空间扩展，GH-Feat 可以仅用少量标注实现细粒度语义分割，降低了标注成本。

应用场景

• 视觉感知：提供与 GAN 生成过程对齐的层次特征，可直接增强视觉感知模型的表征能力。
• 图像编辑与生成：利用生成特征进行图像编辑与处理，减少对图像域特定的先验依赖。
• 机器人视觉：通用特征可为机器人视觉提供跨场景的表示，帮助处理未见过的物体或环境。
• 医学图像分析：少量标注即可分割的能力有望降低医学图像分析中的标注负担。
• 视频理解：层次特征可能被用于视频帧的表示，以支持时空理解任务。