单模态推理接近多模态
一种纯Transformer人脸反欺骗框架,训练时可利用多模态数据,部署时仅需单模态输入即可达到接近多模态框架的性能。
Liu, Ajian · Tan, Zichang · Yu, Zitong · Zhao, Chenxu · 万军 · Yanyan Liang Zhen, Lei · Du, Zhang · Li, Stan Ziqing · Guo, Guodong
IEEE Transactions on Information Forensics and Security 2023
推理时只需单一模态(如RGB),无需提供与训练一致的多模态输入,扩大了应用场景。
性能大幅超越现有单模态框架,并接近多模态框架,同时模型参数量和计算量更小。
采用纯Transformer架构,克服了卷积网络在高保真数据集上的性能限制。