归一化梯度数据筛选器

动态更新核心集,定向增强大模型

针对现有梯度选择偏见与长期失效问题,提出动态归一化梯度筛选框架,持续更新核心集,在大模型通用、数学、代码能力定向微调上表现更优。

Zige, Wang · Qi, Zhu · 米妃 · Wang, Yasheng · Shang, Lifeng

Knowledge-Based Systems 2025

技术优势

消除长度偏差

通过梯度归一化,消除了影响近似与样本补全长度之间的负相关。

长期保持有效

动态更新核心集并重算影响力分数,维持长期训练中一步影响近似与目标损失优化的相关性。

定向提升多能力

框架在定向增强模型通用、数学和编码能力方面均优于现有方法。

应用场景