排序随数据学
让网络参数的重要性排序在训练中自动习得,摆脱人为指定的衰减轨迹。
Cui, Yufei · Yu, Mao · 劉子泉 · Qiao, Li · Chan, Antoni B. · Liu, Xue · Tei-Wei, Kuo · Chun Jason, Xue
IEEE Transactions on Pattern Analysis and Machine Intelligence 2023
通过变分推断学习多维有序掩码的分布,参数重要性排序由数据自动确定,而非人为固定。
训练得到的贝叶斯嵌套网络可即时调整架构,无需针对每个宽度重新训练。
在分类任务中,VND 的准确率、校准和分布外检测均优于嵌套网络。