多尺度注意力掩码自编码器

缺失插补更精准

用自监督掩码任务对齐训练与插补,并通过多尺度注意力捕获特征、风机与时间相关性,在带状缺失与特征缺失场景下精度更高。

Yuwei, Fan · Feng, Chenlong · Wu, Rui · 柳超 · 蒋东翔

Knowledge-Based Systems 2024

技术优势

训练目标对齐

掩码自编码作为自监督训练方法,使模型在训练阶段就面对与真实插补相同的掩码输入模式,从而在推理时表现更稳定。

多尺度看相关性

四个Transformer阶段在不同尺度上施加注意力,分别捕捉特征级、风机级和时间级的相关性,为插补提供更丰富的信息。

计算省到线性

在移位窗口内做局部注意力,将计算复杂度从序列长度的平方降为线性,使多尺度长序列建模可行。

风机关系显式引入

基于风机相关性的特征组合方法显式地将风机间关联引入插补过程,而非依赖模型隐式学习。

应用场景