多专家LLM路由策略

QoS感知边缘路由

通过异构图注意力动态状态抽象与动作影响估计,实现在异构边缘LLM上长期稳定的服务质量。

Jin, Yang · Wu, Qiong · Zhiying, Feng · 周知 · 郭得科 · 陈旭

IEEE Transactions on Mobile Computing 2025

参数信息

延迟违规率
1 %

技术优势

长期稳定QoS

动态状态抽象采用异构图注意力网络,随着请求干扰异构动态变化仍能紧凑表达全局状态。

减少违规

通过动作影响估计器和定制奖励函数,引导DRL智能体优先保障延迟满足请求而避免违规累积。

更省算力

在两种代表性流量模式下,计算资源效率提升至少35%,同等硬件可支撑更高请求量。

应用场景