半哈密顿梯度流粒子变分推断

位置权重同步加速

首个同时实现加速位置更新与动态权重调整的粒子变分推断框架，可适配不同分布差异与梯度流近似。

Fangyikang, Wang · Huminhao, Zhu · 张超 · Zhao, Hanbin · 钱徽

Entropy 2024

技术优势

位置权重同步加速

框架同时实现加速位置更新和动态权重调整，突破了传统方法只能二选一的限制。

收敛更快

实验表明GAD-PVI相比现有最优方法收敛速度更快，能减少迭代次数。

近似误差更小

在同样的迭代次数下，GAD-PVI得到的粒子系统分布与目标分布更接近。

兼容多种设置

框架支持不同的分布差异度量与梯度流近似方法，并在无解析分数时也能获得高质量样本。

应用场景

• 贝叶斯深度学习：提升贝叶斯神经网络等模型的采样效率，加速训练与推理。
• 高斯过程推断：用于高斯过程后验采样，快速获取高质量样本以近似复杂后验。
• 复杂分布采样：高效近似复杂目标分布，直接替换原有采样模块。
• 变分推断加速：通过同时加速位置更新和权重调整，减少推断所需迭代次数。