标注数据减半
通过生成与回答问题学习内容相关性，使可控摘要模型更忠实地遵循用户查询，并以半量标注数据达到最优性能。
Pagnoni, Artidoro · Fabbri, Alexander Richard · Kryściński, Wojciech · Wu, Chiensheng
2023
SOCRATIC 预训练仅利用无标注文档和问答生成系统，使模型所需的任务特定标注数据量减少一半。
通过训练模型在给定上下文中生成和回答问题，模型学会了识别与查询相关的内容，生成的摘要更严格地遵循用户提供的查询。
该方法仅依赖无标注文档，无需额外的监督数据进行预微调，降低了数据准备成本。