长短期时序扩散模型

时序一致视频生成

该扩散模型首次同时引入短时卷积与长时注意力，在保证时序一致性的同时大幅降低内存占用，并支持迭代生成长视频。

Zhao, Haoyu · Gu, Jiaxi · Shicong, Wang · 陆天怡 · 张杏 · 吴祖煊 · Xu, Hang · Jiang, Yugang

IEEE Transactions on Multimedia 2026

参数信息

训练数据缩减

26.5 ×

技术优势

时序更一致

短时卷积学习局部时序特征，长时注意力捕捉复杂运动的长程依赖，两者结合确保生成视频的时序一致性。

内存占用低

长时注意力采用新的内存高效机制，避免标准时序注意力的高内存开销。

训练数据省

即使训练数据量减少26.5倍，仍能保持优越的零样本推理性能。

可生成长视频

提出迭代推理方法，能够逐步生成数百帧的长视频。

应用场景

• 视频生成：生成高时序一致性的视频，减少人工后期修正。
• 长视频生成：迭代生成数百帧长视频，适合内容创作平台需求。
• 时序一致性：显著提升时序一致性，替代传统时序注意力机制。
• 扩散模型：作为扩散模型新架构，实现内存高效的视频生成。
• 多模态生成：融合文本驱动，生成时序一致的多模态视频内容。