并行多通道自适应插值网络

全局特征与运动分解双驱动

基于预训练Transformer的并行多通道结构，通过全局特征提取与运动路径自适应分解，提升图像序列插值的纹理与轮廓精度。

刘慧 · Gongguan, Chen · 刘猛 · Liqiang, Nie

IEEE Transactions on Circuits and Systems for Video Technology 2024

技术优势

用Transformer突破CNN局限

预训练Swin-Transformer提供全局特征，弥补CNN局部感受野的限制，从而提升插值精度。

纹理轮廓双损失优化

同时使用像素损失和梯度损失，使重建图像在纹理和轮廓上更保真。

应用场景

• 视频帧率提升：生成中间帧以提升视频流畅度，替代传统插帧算法。
• 医学影像层间重建：重建层间缺失图像，提高医学影像的空间分辨率。
• 医学影像重建：从稀疏扫描中恢复完整影像序列，减少辐射或扫描时间。
• 运动分析：分解运动路径辅助分析物体运动轨迹和速度场。