作者发现,reranker 虽然调用了模型,却因 max_tokens 仅为 120,耗尽额度后未能输出答案;异常被静默回退到数学排序,因此功能失效时测试仍全部通过。将额度调至 1024 后,作者在 Spider 与 BIRD 公共基准上测得重排后的 top 5 命中率分别为 96.5% 和 96.7%,衡量的是正确表是否进入候选提示,不是最终 SQL 是否正确。
LLM 重排器没有实际生效,所有测试却都通过了
依据原文整理。
资料节译六轴双评分均分:74.5 / 100
相关性 8 / 10 · 新信息 7 / 10 · 证据 6.5 / 10 · 推理 8 / 10 · 信息密度 8.5 / 10 · 行动价值 7.5 / 10
中文摘编
依据来源材料整理,保留事实、观点与适用范围的区别。
完整上下文请阅读原始来源。
完整上下文请阅读原始来源。