变分嵌套剪枝层

排序随数据学

让网络参数的重要性排序在训练中自动习得,摆脱人为指定的衰减轨迹。

Cui, Yufei · Yu, Mao · 劉子泉 · Qiao, Li · Chan, Antoni B. · Liu, Xue · Tei-Wei, Kuo · Chun Jason, Xue

IEEE Transactions on Pattern Analysis and Machine Intelligence 2023

技术优势

排序随数据学

通过变分推断学习多维有序掩码的分布,参数重要性排序由数据自动确定,而非人为固定。

一次训练任意宽度

训练得到的贝叶斯嵌套网络可即时调整架构,无需针对每个宽度重新训练。

检测分布外样本更强

在分类任务中,VND 的准确率、校准和分布外检测均优于嵌套网络。

应用场景