灵活模态视觉Transformer

单模态推理接近多模态

一种纯Transformer人脸反欺骗框架,训练时可利用多模态数据,部署时仅需单模态输入即可达到接近多模态框架的性能。

Liu, Ajian · Tan, Zichang · Yu, Zitong · Zhao, Chenxu · 万军 · Yanyan Liang Zhen, Lei · Du, Zhang · Li, Stan Ziqing · Guo, Guodong

IEEE Transactions on Information Forensics and Security 2023

技术优势

部署灵活

推理时只需单一模态(如RGB),无需提供与训练一致的多模态输入,扩大了应用场景。

超越单模态

性能大幅超越现有单模态框架,并接近多模态框架,同时模型参数量和计算量更小。

纯Transformer

采用纯Transformer架构,克服了卷积网络在高保真数据集上的性能限制。

应用场景