TDVSA-Net唇部特征解缠网络

抗DeepFake攻击

将唇部特征解缠为内容、生理与行为三路，在自然场景和少样本条件下同时验证提示文本与说话人身份。

Yi, He · Yang, Lei · 王士林 · Alan Wee-Chung, Liew

IEEE Transactions on Circuits and Systems for Video Technology 2024

技术优势

背景再乱也不怕

通过解缠出与说话内容无关的生理和行为特征，减少了复杂背景对身份认证的干扰。

少样本也能用

解缠出的生理和行为特征能够刻画与文本无关的稳定身份线索，降低对大量训练样本的依赖。

防DeepFake更靠谱

行为和生理特征的联合验证使伪造样本更难同时欺骗文本和身份两个模块，从而抵抗DeepFake攻击。

应用场景

• 多模态身份认证：同时验证唇语内容和说话人身份，为多模态认证提供双因子保障。
• DeepFake防御：利用解缠的生理和行为特征识别伪造唇动，抵抗DeepFake换脸攻击。
• 移动端生物识别：在自然场景和少样本条件下仍能可靠认证，适合移动端部署。