一种用于多视角视频编码的参考帧生成网络,通过帧级到块级的学习范式逐步生成高质量参考帧。
张婧 · 侯永宏 · 潘兆庆 · 彭勃 · Ling, Nam · 雷建军
IEEE Transactions on Circuits and Systems for Video Technology 2023
通过生成更高质量的参考帧,提高了预测精度,从而在相同质量下大幅节省码率。
块级聚合模块采用Transformer结构,能够捕获像素间的长程依赖,从而细化纹理细节。
先利用视差进行帧级合成得到基础参考帧,再在块级进一步优化,使生成质量逐步提升。