步进式参考帧生成网络

一种用于多视角视频编码的参考帧生成网络,通过帧级到块级的学习范式逐步生成高质量参考帧。

张婧 · 侯永宏 · 潘兆庆 · 彭勃 · Ling, Nam · 雷建军

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

码率显著降低

通过生成更高质量的参考帧,提高了预测精度,从而在相同质量下大幅节省码率。

长程依赖建模

块级聚合模块采用Transformer结构,能够捕获像素间的长程依赖,从而细化纹理细节。

帧级到块级逐步优化

先利用视差进行帧级合成得到基础参考帧,再在块级进一步优化,使生成质量逐步提升。

应用场景