动态记忆库网络

高效视频分割

一种用于视频对象分割的稳健高效记忆网络,通过局部注意力和动态记忆库解决了背景干扰和时间冗余问题。

陈亚当 · Dingwei, Zhang · 郑钰辉 · Yang, Zhixin · 吴恩华 · Haixing, Zhao

IEEE Transactions on Circuits and Systems for Video Technology 2023

参数信息

分割精度 (DAVIS 2016 val)
92.1 %
分割精度 (DAVIS 2017 test)
81.3 %
分割精度 (YouTube-VOS 2018 val)
87.0 %
推理速度
25 FPS

技术优势

背景干扰不再误分割

局部注意力机制抑制背景特征,并通过对比学习训练框架确保网络学习到可靠且鲁棒的像素级对应关系。

推理速度超过 25 FPS

动态记忆库利用轻量级可微软调制门,沿时间维度自适应移除冗余记忆特征,实现高效灵活的记忆管理,从而在保持精度的同时提升速度。

长视频也能保持平衡

该方法在处理长时间视频数据集时,在性能和速度之间表现出良好的平衡。

应用场景