逼近tanh的C²连续激活
提出了一个新的视频超分辨率变换器，它用多项式逼近来构建激活函数，实现了C²连续性，避免了常见激活函数的计算复杂性和神经元死亡问题，并在多个基准上取得了更好的结果。
Zhang, Fan · Gongguan, Chen · 王桦 · 李晋江 · 张彩明
IEEE Transactions on Circuits and Systems for Video Technology 2023
用三次样条构造的激活函数是分段三次多项式曲线定义，C²连续，比常用激活函数更平滑，有利于优化。
新激活函数避免了常用激活函数的神经元死亡问题，使网络训练更稳定。
用卷积和交叉注意力校正对齐不同尺度特征，防止特定尺度特征提取出现大偏差，影响后续特征提取。