MLaaS联邦代理

精度不降费降67%

在多个商用MLaaS服务间动态选择最优子集并融合预测,以相近精度大幅降低推理费用。

Xie, Shuzhao · 学院 · Zhu, Yifei · Wang, Zhi

IEEE Transactions on Multimedia 2024

参数信息

推理费用降低率
67 %
标注成本降低率
90 %

技术优势

省钱不降准

基于请求特征选择最佳MLaaS子集,在真实轨迹测试中推理费用降低67%,同时精度与调用全部服务相近。

标注成本大降

基于相似度的自动标签统一算法省去人工合并标签的繁琐工作,标注成本降低90%。

自动选服务

采用组合强化学习自动选出最佳MLaaS组合,无需人工反复试错即可最大化用户体验。

应用场景