秩自适应LoRA框架

缺失视图下性能最优

通过可学习秩门控,对共享视图和特定视图的低秩更新方向进行自适应调制,以匹配不同缺失视图条件下的能力需求。

Junjie, Ke · Ma, Fei · Yemin, Lin · Xiao, Wang · Weiye, Yang · Liu, Kuien · Yu, Zitong · Zhao, Sicheng · 丁贵广 · 田奇

Information Fusion 2027

技术优势

适配缺失模式更灵活

通过可学习秩门控,共享与视图特定分支能根据缺失视图的类型、比例和模式,自适应调节每个低秩方向的有效容量,而非均匀激活。

参数更紧凑

稀疏感知正则化约束门控值,抑制冗余方向,得到更紧凑且具有判别力的适配,降低存储和计算开销。

推断不增开销

门控与输入无关,低秩更新权重可直接合并进冻结骨干网络,推断时无需额外计算或存储。

应用场景