预训练时空网络

长时预测更准

与现有模块堆叠式模型不同,该网络通过预训练提取长期时空特征,仅需微调预测头即可适配不同数据集,无需从头训练。

Fang, Shen · Ji, Wei · 向世明 · 华炜

Information Fusion 2024

技术优势

无需从头训练

预训练阶段已从大量数据中捕获长期时空特征,微调时冻结这些参数,只训练预测头,因此在不同数据集上无需重新训练整个模型。

长期模式抓得住

通过数据掩码与恢复任务,模型被迫学习未掩码数据之间的关联以恢复被掩码部分,从而有效提取长期时空特征。

轻量也能高精度

仅用预训练编码器加一个直观的线性回归,就能取得与先进方法相当的性能,表明模型无需复杂模块也能保持高精度。

应用场景