动态更新核心集,定向增强大模型
针对现有梯度选择偏见与长期失效问题,提出动态归一化梯度筛选框架,持续更新核心集,在大模型通用、数学、代码能力定向微调上表现更优。
Zige, Wang · Qi, Zhu · 米妃 · Wang, Yasheng · Shang, Lifeng
Knowledge-Based Systems 2025
通过梯度归一化,消除了影响近似与样本补全长度之间的负相关。
动态更新核心集并重算影响力分数,维持长期训练中一步影响近似与目标损失优化的相关性。
框架在定向增强模型通用、数学和编码能力方面均优于现有方法。