目标感知航拍预测变压器

视频与运动联合预测

统一建模航拍视频帧与目标运动状态，通过时空解耦注意力与信息共享机制，同时提升场景预测和目标运动预测精度。

Liangyu, Xu · Lu, Wanxuan · Yu, Hongfeng · Mao, Yongqiang · Hanbo, Bi · Liu, Chenglong · 孙显 · 付琨

IEEE Transactions on Geoscience and Remote Sensing 2024

技术优势

场景与运动一起预测

一个模型同时输出未来视频帧和目标运动状态，无需为运动估计单独训练模型，减少部署复杂度。

注意力解耦提高预测质量

空间静态注意力与时间动态注意力分开建模，分别捕捉场景外观和运动模式，避免相互干扰。

信息共享桥接视频与目标

通过两组信使令牌在视频和目标运动之间进行信息交互，让目标运动预测受益于场景上下文。

应用场景

• 航拍视频预测：直接生成未来帧，用于航拍监控中的态势预判，减少人工持续盯屏。
• 低空目标跟踪：同时输出目标运动状态，可辅助跟踪器在遮挡或模糊时保持目标身份。
• 无人机具身智能：为无人机任务规划提供未来场景和运动预测，支持自主避障和路径决策。
• 交通流预测：从航拍视角预测车辆等目标的运动，辅助交通流量分析和异常检测。