横向预测编码网络

能量-信息最优权衡

在统计规律性环境中,通过训练自发形成具有循环支配性和兴奋-抑制紧平衡的最优网络结构。

Zhen-Ye, Huang · Ruyi, Zhou · Miao, Huang · 周海军

Science China: Physics, Mechanics and Astronomy 2024

参数信息

能量效率上界
1

技术优势

能量效率达到理论上限

最优网络在给定信息鲁棒性下实现最低能耗,没有可改进空间,适用于对功耗敏感的边缘设备。

自发涌现兴奋-抑制平衡

在不连续相变点突然形成紧平衡,无需额外正则化,网络自动获得稳定的动力学特性。

自发形成循环支配结构

连续相变打破互易性和置换对称性,产生非对称连接,有助于生成丰富的内部表征。

满足理想气体定律

在宽温度范围内,网络的状态变量与参数满足理想气体方程,为网络行为提供理论预测。

应用场景