全动态范围自适应
动态调整截断相位范围,并分时间步与层深独立配置秩,适配不同层的信息差异。
罗丹 · 郑康锋 · 伍淳华 · 王秀娟 · Jvjie, Wang
Neurocomputing 2025
按时间步和层深动态调整秩,使不同深度的层获得匹配其信息特征的秩值,避免统一秩带来的信息丢失。
引入动态范围到截断相位,使其不再持续丢弃尾部单元,从而更充分地利用低秩表示的信息。
沿用 LoRA 的低秩分解策略,以较少可训练参数实现高效适配,降低工业部署的资源和时间开销。