多出口加速网络

按需剪枝加速推理

通过剪枝器去除多余分支，该多出口深度网络在满足个性化精度需求的同时降低推理能耗，每层支持按需提前退出。

Yu, Qiu · Chen, Min · Liang, Weifa · Niyato, Dusit (Tao) · Yue, Wang · Yizhe, Li · 梁中明 · 好医学 · Hu, Long · 张寅

IEEE Transactions on Mobile Computing 2024

技术优势

细粒度部署

每个 DMS 被进一步划分为多个具有依赖关系的块，从而充分利用有限的计算和能源资源。

自适应调度

基于学习的调度器在不同需求场景下自适应激活合适的服务器并部署所需块及备份，最大化请求吞吐量并最小化边缘服务器激活数。

应用场景

• 具身智能系统部署：在资源受限的具身智能边缘设备上动态平衡精度、延迟与能耗，支持多用户个性化推理服务。
• 边缘智能：将多出口深度网络按需剪枝并细粒度部署到边缘服务器，在间歇绿色能源下最大化请求吞吐量。
• 绿色计算：通过剪枝和服务器动态激活减少冗余计算，最小化边缘服务器激活数量以降低能耗。
• 柔性感知网络：智能织物中嵌入的柔性传感器采集的海量超模态数据，由边缘推理服务实时分析，多出口加速满足持续个性化需求。