长时预测更准
与现有模块堆叠式模型不同,该网络通过预训练提取长期时空特征,仅需微调预测头即可适配不同数据集,无需从头训练。
Fang, Shen · Ji, Wei · 向世明 · 华炜
Information Fusion 2024
预训练阶段已从大量数据中捕获长期时空特征,微调时冻结这些参数,只训练预测头,因此在不同数据集上无需重新训练整个模型。
通过数据掩码与恢复任务,模型被迫学习未掩码数据之间的关联以恢复被掩码部分,从而有效提取长期时空特征。
仅用预训练编码器加一个直观的线性回归,就能取得与先进方法相当的性能,表明模型无需复杂模块也能保持高精度。