自适应大邻域搜索推理器
小模型推理准确率大幅提升
将推理链视为可编辑结构，通过破坏-修复循环与自适应算子选择，摆脱局部最优，在固定计算预算下显著提升小语言模型推理性能。
Kaleem Ullah, Qasim · 张家树 · 77548845 · Muhammad Kafeel, Shaheen
Information Sciences 2027
参数信息
- 推理准确率
- 83.1 %
- 准确率增益（vs 思维树）
- 19.1 %
- 准确率增益（vs 思维图）
- 15.1 %
- 准确率增益（vs 思维树，Qwen2.5-0.5B）
- 18.4 %
- 准确率增益（vs 思维图，Qwen2.5-0.5B）
- 11.4 %
- 与理想评估器的差距
- 1.7 %
技术优势
能跳出局部最优
模拟退火接受准则有时会接受较差的中间链，使搜索不被当前最好链困住，从而探索到更优的推理路径。
预算不变也能提升
在每次问题仅16次模型调用的条件下，ALNS-Reasoner在GSM8K上比思维树高19.1个百分点，说明其在相同计算成本下更高效。
提升接近上限
使用真实评估器的变体只比使用理想评估器的上限低1.7个百分点，表明实际评估器已捕获绝大部分提升空间，说明方法稳健。
应用场景
- 语言模型推理增强：用破坏-修复搜索替代单纯重采样，在固定调用预算内提升小模型推理准确率。
- 组合优化与元启发式：将大邻域搜索的破坏-修复算子引入推理链优化，为元启发式开辟非数值组合问题。
- 边缘计算中的小模型部署：以16次调用的低计算预算取得高准确率，适合边缘设备上的小模型推理增强。
- 具身智能中的任务规划：对推理链的结构化破坏-修复可修正规划中的错误步骤，改善具身任务序列。