SELF-ICL上下文学习框架

零样本媲美真实示例

无需示例库，通过自生成伪示例实现零样本上下文学习，在23项BIG-Bench Hard任务上超越零样本基线。

Wei-Lin, Chen · Cheng-Kuang, Wu · Chen, Yunnung · Chen, Hsinhsi

2023

技术优势

无需示例库

模型自己生成伪输入和伪标签，不依赖外部训练语料中的示例。

超越零样本基线

在23项BIG-Bench Hard任务上，平均准确率和逐对比较均优于零样本基线。

媲美真实示例

结合零样本思维链后，其表现与使用真实示例的上下文学习相当。

应用场景

• 提示工程：提供一种自动构造演示的方法，减少提示设计的人工成本。
• 零样本学习：无需任何标注示例即可让模型适配新任务，拓宽零样本应用范围。
• 语言模型训练：可利用自生成数据增强训练，减少对人工标注数据的依赖。
• 推理优化：在推理阶段实时生成演示，无需预先存储示例池，节省存储和检索开销。