无监督显著补丁选择网络

提升数据效率

通过自监督视觉Transformer自动提取重要图像补丁，减少强化学习所需的交互样本。

Zhaohui, Jiang · Weng, Paul

Lecture Notes in Computer Science 2023

技术优势

自动定位关键区域

利用自监督预训练的Vision Transformer从随机采样的补丁重建图像，识别出难以从邻近补丁重建的显著补丁，无需人工选择关键点。

样本效率更高

在Atari游戏上仅用少量交互样本就达到与现有先进方法相当甚至更好的性能，减少训练时间和环境交互成本。

应用场景

• 具身智能：让机器人从高维视觉输入中快速聚焦关键区域，降低训练数据需求。
• 先进机器人：提升机器人视觉策略学习效率，减少实际环境中的试错次数。
• 工业机器人：在工业场景中减少视觉强化学习所需的大量标注和交互，加速部署。