单卡筛高质指令
通过结构化剪枝的轻量代理模型,以极低的计算开销从大规模数据中挖掘高质量指令数据。
Qiang, Wang · Ao, Shen · Zeng, Yifan · 冯大为 · Xu, Zhang · 丁博 · 王怀民
Expert Systems with Applications 2026
压缩后的代理模型无需大规模集群,在单张GPU上即可完成对抗评估与指令筛选。
引入粒度、多语言和分布外三类扰动分析模型鲁棒性,使筛选出的指令更具挑战性和信息量。
LAID度量仅需比较压缩模型在有无指令时的输出差异,即可量化指令难度,支持大规模数据池。
在LLaMA、Mistral、Gemma、DeepSeek四个模型家族上验证,覆盖代码生成和通用域。