唇语同步精度升27%
不依赖音频，仅凭视觉即可将语音与唇动在词和音素级别精确对齐，并通过多任务学习增强对口型细节的敏感度。
Yi, He · 王士林 · Yang, Lei
2025
通过局部上下文感知特征提取器和多任务学习，模型对细微唇部动作更敏感，从而在词级别上实现了6%的准确率提升。
改进后的Viterbi算法后处理有效减少了误对齐，使得音素级准确率提升了27%，是词级提升的4倍多。
整个方法仅依赖视觉信息，不借助任何音频线索，因此适用于无音轨的视频内容，如用户生成内容或历史影像。