删60%仍保性能
自动将任务定义压缩至最小支撑token集，保留甚至提升模型性能。
Fan, Yin · Vig, Jesse · Laban, Philippe · Joty, Shafiq Rayhan · Xiong, Caiming · Wu, Chiensheng
2023
压缩算法只保留任务输出相关的关键信息，去除冗余token后模型性能不降反升。
用统一的结构化格式提供关键信息，使模型更容易理解任务定义，从而提升指令跟随效果。
额外增加一个元调优阶段，让模型在多个任务上学习如何更好地理解定义，进一步释放性能。