实时协同CNN推理框架

网络波动下仍实时

该框架通过可切换CNN和实时控制器，在动态网络条件下保持实时协同推理，保证流分析的及时性与准确性。

Zhanhua, Zhang · 杨树森 · Zhao, Cong · Ren, Xuebin · Yu, Hanqiao · Han, Qing · Guo, Siyan

IEEE Journal on Selected Areas in Communications 2023

技术优势

网络波动下仍实时

通过运行时传输自适应，根据网络状况切换压缩率，避免网络波动导致的严重延迟。

压缩率可切换

可切换CNN在划分层集成不同压缩率的CNN，使运行时传输调整成为可能。

实时控制器决策

实时控制器动态确定压缩率，维持流分析的实时协同推理。

应用场景

• 边缘智能：在资源受限的边缘设备上实现高精度CNN推理，无需将大量数据上传云端。
• 普适图像分析：对普适终端设备持续产生的大量图像进行及时流分析。
• 实时流处理：在网络波动下仍保证实时推理，满足流处理的时限要求。
• 可穿戴设备：在计算资源有限的可穿戴设备上实现实时图像推理。
• 无人机视觉：在无人机动态网络环境中维持实时视觉推理。