半同卵孪生变分自编码器

多模态融合提升特征生成质量

创新性地借鉴半同卵双胞胎遗传特性,让两个共享种子的条件变分自编码器协作生成特征,通过自适应线性融合模拟父本,同时要求还原条件在表征和功能上保持一致,显著提升少样本下生成数据的多样性与质量。

张奕 · 黄晟 · Peng, Xi · Yang, Dan

IEEE Transactions on Neural Networks and Learning Systems 2023

技术优势

生成特征更多样

通过结合视觉和语义两种模态的先验知识,生成的特征涵盖了更丰富的信息,克服了仅用视觉先验导致的多样性不足问题。

模态缺失也能用

采用自适应线性特征组合策略,即使部分模态缺失,模型仍能生成有效特征,增强了实际应用中的鲁棒性。

特征质量更高

通过要求最终特征能还原出原始条件并在表征和功能上保持一致,保证了生成特征的语义正确性和可用性。

应用场景