推理吞吐近优
通过批量调度与量化，在资源受限的边缘设备上实现高吞吐的LLM推理，并给出理论近似保证。
Xinyuan, Zhang · Nie, Jiangtian · 黄玉栋 · Gaochang, Xie · Xiong, Zehui · 刘江 · Niyato, Dusit (Tao) · 74772343
IEEE Transactions on Wireless Communications 2024
采用批量处理和模型量化，在资源受限的边缘设备上实现高吞吐量推理。
提出的算法相比暴力搜索时间复杂度降低超过45%，显著减少边缘推理的计算开销。
算法具有1/2近似比，在多项式时间内可获得接近最优的解。