多模态对齐运动预测网络

首次引入文本描述增强

利用对比学习将轨迹特征与数值信号和文本描述对齐,为解码器提供更准确的语义先验,在不增加推理开销的情况下提升运动预测精度。

Hongkun, Liu · 刘红敏 · 樊彬 · Xu, Jinglin

IEEE Transactions on Computational Social Systems 2025

参数信息

可训练参数增加量
0.1M

技术优势

首次引入文本描述

利用文本描述作为额外模态,通过对比学习为轨迹特征提供更丰富的语义上下文,从而提升预测精度。

推理不增开销

对比学习模块仅在训练阶段使用,推理时不引入额外参数或计算负担,保持了原始编码器-解码器模型的效率。

LoRA高效微调

使用LoRA微调文本编码器,仅增加0.1M可训练参数,既提升性能又避免灾难性遗忘。

应用场景