跨度替换增强策略

组合泛化最高+66.5%

一种支持多粒度组合的数据增强方法，通过让模型替代句子片段来提升序列模型的组合泛化能力。

Zhaoyi, Li · Wei, Ying · 连德富

2023

参数信息

组合泛化提升

66.5 %

组合泛化提升

10.3 %

组合泛化提升

1.2 %

技术优势

自动聚焦困难样本

学习替换概率，最大化模型损失，使增强更倾向于那些包含难以理解概念和新颖上下文的组合。

三个基准均有效

在SCAN、COGS和GeoQuery上分别提升最高66.5%、10.3%和1.2%。

应用场景

• 自然语言处理：提升语义解析和指令跟随等任务的组合泛化能力。
• 序列模型：为序列模型训练提供更有效的组合归纳偏置。
• 人机交互：增强对话系统理解新颖组合指令的鲁棒性。