提示引导Transformer

参数少 性能高

在任务条件模型中实现性能与参数量的最佳平衡，解码器仅占2.7%参数。

Yuxiang, Lu · Shalayiding, Sirejiding · 丁玥 · 王春林 · 卢宏涛

IEEE Transactions on Multimedia 2024

参数信息

解码器仅占模型总参数

2.7 %

技术优势

性能最优

在PASCAL-Context和NYUD-v2上均达到任务条件方法中的最优性能。

全局依赖建模

在自注意力中引入任务特定提示，实现跨任务的全局依赖建模。

应用场景

• 多任务密集预测：一个模型同时处理分割、深度估计等密集预测任务。
• 视觉Transformer：将提示机制融入Transformer，提升多任务特征适应能力。
• 边缘设备部署：低参数解码器适合资源受限的边缘设备部署。
• 智能视觉系统：为自动驾驶、机器人等系统提供高效多任务感知。