HarmoniDPO视频音频生成模型

音画同步更强

用偏好优化直接对齐人类听感，生成的音频在同步性与感知质量上都更接近真实录音。

Wenshuo, Peng · Zhang, Kaipeng

International Journal of Computer Vision 2026

技术优势

保留时间动态

采用全局上下文与逐帧特征的组合表示，不丢失视频中的时间动态和语义细节，为音频同步提供更准确的视觉线索。

对齐人类偏好

通过在线直接偏好优化微调扩散模型，生成结果在感知质量和视频匹配度上更符合人类判断。

推理时提保真

双尺度扩散搜索在推理阶段自适应优化输出保真度，无需重新训练即可进一步提升音频质量。

应用场景

• 视频生成：为生成的视频同步添加真实感音频，提升整体观感。
• 音频合成：根据视觉内容合成匹配的音效和背景声，无需人工录制。
• 多模态理解：学习视觉和音频的跨模态对应关系，提升模型对齐能力。
• 影视后期：自动为影视素材生成同步音频，减少人工配音和剪辑成本。
• 虚拟现实：为虚拟场景实时提供沉浸式声音，增强空间感和真实感。