重构死亡神经元
与ReLU不同，LENI通过可学习方式利用负相位信息，增强CNN表征能力。
蔡志成 · Peng, Chenglei · Shen, Qiu
Lecture Notes in Computer Science 2023
不再把负值一刀切，而是通过学习利用负相位信息，使原本在 ReLU 下死亡的神经元重新参与表征。
在多个基准模型和数据集上带来一致的性能提升，ImageNet-1k 上最高提升 1.24% top-1 准确率，且额外参数可忽略。
作为通道补偿机制时，LENI 能以更少的可学习参数实现与基线相当甚至更好的性能。