通用任务子空间

250维恢复97%性能

一个低维子空间就能覆盖上百个NLP任务的提示调优，适配新任务只调极少数参数。

秦禹嘉 · 王晓智 · 苏裕胜 · Lin, Yankai · 丁宁 · Jing, Yi · Weize, Chen · 刘知远 · 李涓子 · 侯磊 · 李蓬 · 孙茂松 · Zhou, Jie

IEEE/ACM Transactions on Audio Speech and Language Processing 2024

参数信息

性能恢复率（已见任务）

97 %

子空间维度

250

技术优势

参数极少

只需调整250个参数即可恢复全量调优的绝大部分性能，大幅降低适配成本。

更稳定的调优

在低维子空间中调整参数可提升提示调优的稳定性，减少全量调优中的波动。

应用场景

• 少样本NLP模型：少样本场景下仅调极少数参数即可适配新任务，降低计算和标注成本。
• 提示调优：将提示向量约束在低维子空间中，提升调优稳定性和参数效率。
• 模型压缩：用极少量参数存储任务适配信息，降低模型部署的存储开销。