时空感知视频预测网络

细节更清晰

通过分离运动与细节的记忆模块，提升视频预测的时空准确性与纹理保真度。

74016269 · 管业鹏

Neurocomputing 2024

参数信息

均方误差 (MSE) 提升

3.1, 1.0×10⁻², 14.3×10

技术优势

预测更准确

ST-Memory 沿之字形方向传递深度特征，从时间维度学习运动演变，并通过 MotionCell 扩大感受野以获取充分的时空相关性。

细节更清晰

SD-Memory 在像素级别捕获全局和局部依赖，保留有用的空间细节，减少预测帧的模糊和物体缺失。

性能超越现有方法

在三个公开的合成和自然视频数据集上，DANet 的 MSE 指标比现有最优方法分别低 3.1、1.0×10⁻² 和 14.3×10。

端到端可训练

整个双分支框架可以直接从输入视频端到端训练，无需分阶段预处理或额外监督。

应用场景

• 视频预测：预测未来帧，用于视频压缩、异常检测等需要前瞻信息的任务。
• 自动驾驶：预测道路参与者未来轨迹和场景变化，辅助规划与决策。
• 机器人视觉：让机器人预判环境动态，提高操作和导航的安全性。
• 视频监控：提前预警异常事件，降低监控人员反应延迟。
• 人机交互：预测用户动作和意图，实现更自然的交互响应。