无需重训的VQ码本调整

计算负载或重建质量可调

利用双曲嵌入与希尔伯特曲线重排，无需重训即可调整矢量量化码本大小，实现更低计算负载或更好重建质量。

Li, Lei · 刘婷婷 · Wang, Chengyu · Qiu, Minghui · Chen, Cen · 高明 · 周傲英

Multimedia Systems 2023

技术优势

免重训调码本

通过双曲嵌入和希尔伯特曲线重排，可以直接调整码本大小，无需重训整个模型，节省计算资源和时间。

大小灵活切换

同一模型可以根据需要缩小码本以降低计算负载，或增大码本以提升重建质量。

比基线有效

实验证明方法在效率和有效性上优于对比基线。

应用场景

• 视觉语言模型部署：在部署时按需调整码本大小，在延迟和画质间取舍，无需重训模型。
• 多模态模型优化：为现有多模态模型提供无需重训的码本优化，节省计算资源。
• 量化模型压缩：通过缩小码本降低量化模型的计算负载，实现有效压缩。