标记混合策略

参数高效跨帧交互

通过选择和混合关键集与值集实现跨帧交互，无需添加额外模块即可将图像语言模型迁移至视频语言任务。

Yuqi, Liu · Luhui, Xu · Xiong, Pengfei · 金琴

2023

技术优势

无需新增模块

Token mixing 不加入任何组件或模块，仅需微调预训练模型的一部分参数即可实现迁移。

性能更优

在理解任务和生成任务上，token mixing 均优于其他参数高效迁移学习方法。

创下新纪录

在多个视频语言任务上取得了新的最佳成绩。

应用场景

• 多模态视频理解：用参数高效的方式将图像语言模型适配到视频理解任务，减少微调成本。
• 跨模态迁移学习：通过 token mixing 实现图像到视频的跨模态迁移，无需新增模块。
• 视频语言生成：在生成任务上表现优于其他参数高效方法，可用于视频字幕等生成任务。