动态上下文去除策略

训练更快更准

一种即插即用的训练策略,通过课程式移除上下文,让模型在不同可见信息量下都能给出稳定预测。

徐新禹 · Li, Yonglu · 卢策吾

International Journal of Computer Vision 2023

技术优势

即插即用

无需修改网络结构,可直接集成到主流推理模型(如Transformer和LSTM)的训练流程中。

预测更稳定

通过在不同训练阶段动态调整上下文可见性,模型在不同可见上下文水平下能给出稳定的预测。

训练效率提升

课程式难度调度使模型更高效地学习,在取得最优结果的同时降低了训练成本。

应用场景