同质工具的路由预测器

低成本高表现

通过同时预测工具性能和成本，为查询选择最具成本效益的工具，而非仅追求最高准确率。

Mu, Feiteng · Jiang, Yong · Liwen, Zhang · Chu, Liu · Li, Wenjie · Xie, Pengjun · Huang, Fei

2024

参数信息

成本降低高

30 %

查询路由准确率

92.5 %

平均查询处理时间减少

25 %

技术优势

兼顾效果和成本

不单看谁能答得好，也把每家的调用开销算进去，回答同样水平时挑更省的那一个。

能拿到最高性价比

按性价比路由，而不是一味求最准，让同样的预算下能处理更多查询。

应用场景

• 智能工具选择：在多个工具中自动挑选成本效益最优的方案来完成查询。
• 查询路由优化：根据查询特性和工具开销动态决策，避免固定使用最贵或最快但不够准的工具。
• RAG系统优化：帮助检索增强生成系统在多个检索器或生成模型中选择既准确又经济的组合。
• 多工具协同：统一评估多个工具的能力与开销，实现协调调用以整体降低成本。