时层感知动态LoRA

全动态范围自适应

动态调整截断相位范围,并分时间步与层深独立配置秩,适配不同层的信息差异。

罗丹 · 郑康锋 · 伍淳华 · 王秀娟 · Jvjie, Wang

Neurocomputing 2025

技术优势

秩分配更合理

按时间步和层深动态调整秩,使不同深度的层获得匹配其信息特征的秩值,避免统一秩带来的信息丢失。

完全动态截断

引入动态范围到截断相位,使其不再持续丢弃尾部单元,从而更充分地利用低秩表示的信息。

部署更轻量

沿用 LoRA 的低秩分解策略,以较少可训练参数实现高效适配,降低工业部署的资源和时间开销。

应用场景