条件扩散元学习器

免二阶梯度

将内环梯度下降重构为条件扩散过程，消除二阶梯度计算，显著降低元学习的内存负担与梯度消失风险。

Zhang, Baoquan · Luo, Chuyao · Yu, Demin · 李旭涛 · Lin, Huiwei · 叶允明 · Zhang, Bowen

2024

技术优势

免二阶梯度

通过将内环梯度下降建模为扩散模型的反向过程，避免了对外环优化沿内环路径求二阶导数，显著降低显存并缓解梯度消失。

性能领先

在少样本学习任务上超越了现有基于梯度的元学习方法家族。

应用场景

• 模型无关元学习：可在模型无关的元学习框架中替代内环优化器，减少显存占用并提升少样本性能。
• 扩散生成模型：首次将扩散模型用于元学习优化过程建模，为扩散模型开辟新应用。
• 视觉自动驾驶：在视觉自驾场景中，可快速适应新环境或新物体类别，减少数据需求。
• 可穿戴人体行为识别：可穿戴行为识别中，仅需少量用户数据即可适配新活动模式。
• 具身智能控制：在具身智能控制中，快速学习新任务技能，减少交互试错次数。