元探索GAN

采样质量与多样性兼得

把元探索用于语言GAN,让生成器采样时兼顾质量和多样性,不再靠堆大规模预训练模型或费劲稳定策略梯度。

Yun-Yen, Chuang · Hsu, Hungmin · Kevin, Lin · Ray-I., Chang · Lee, Hung Yi

IEEE/ACM Transactions on Audio Speech and Language Processing 2023

技术优势

采样效率有保证

通过元探索训练一个探索器,从生成的数据中采样,同时保证质量和多样性。

训练更稳定

提出关键训练方法,无需依赖大规模预训练模型或费劲稳定策略梯度。

架构无关

在不同架构(包括 GPT-2)上验证了通用性。

应用场景