1. 为什么我要在本地复现 WideSearch 评测字节 Seed 团队发布的 WideSearch 基准测的是 AI 搜索助手在宽搜索任务上的真实能力——不是找一个答案而是像人口普查一样把散落的信息全部收齐、整理成表。官方数据显示即使是最先进的多智能体系统成功率也只有 5.1%单智能体更是低到 4.5%。这个数字背后反映的是任务规划、策略调整和证据处理三个环节的系统性缺陷。问题在于官方仓库给的是评测框架和数据集但真正跑起来需要批量调用模型完成多跳检索。如果你用各家厂商的原生 Key就得维护 OpenAI、Anthropic、Google 等多套凭证每换一个被测模型就要改一次配置评测还没开始光环境就把人耗死了。我试过用统一 Key 接入的方式把这件事简化——所有模型走同一个入口settings.json 和 config.toml 只改模型名不改接入层这样批量跑分时切换被测对象只需要动一行配置。这篇面向需要批量调用模型完成多跳检索任务的开发者给出可复制的配置骨架和一条能直接跑的验证命令。适合已经在做 Agent 评测、或者想复现 WideSearch 跑分但卡在接入层的同学。2. TaoToken 前置统一 Key 解决多模型接入WideSearch 的评测逻辑是给定一个复杂查询让被测 Agent 自主规划搜索步骤、调用搜索工具、收集证据、整理成结构化答案最后和标准答案做语义比对。整个流程里模型调用是最高频的动作——一个任务可能触发几十次甚至上百次 LLM 请求。如果每个被测模型都用原生 Key你会遇到三个麻烦一是凭证管理分散二是不同厂商的 API 格式不统一三是批量跑分时切换模型要改代码。TaoToken 的做法是提供一个兼容 OpenAI 格式的统一入口你只需要一个 Key就能在配置里切换底层模型。具体来说TaoToken 的 API 地址是https://taotoken.net/api兼容 OpenAI 的/v1/chat/completions接口。这意味着你现有的 OpenAI SDK 代码几乎不用改只需要把base_url指向 TaoToken把api_key换成 TaoToken 的 Key然后在model字段里填目标模型名就行。对于 WideSearch 这种需要批量切换被测模型的场景这个设计很实用。你可以在 config.toml 里维护一个模型列表跑分脚本循环读取每次只改model参数接入层完全不动。注意TaoToken 是模型调用入口不是搜索引擎。WideSearch 里的搜索工具比如 SerpAPI、Bing Search需要你单独配置TaoToken 只负责 LLM 推理部分。3. 可复制配置settings.json 与 config.toml 骨架WideSearch 官方仓库的评测入口通常读取两个配置文件settings.json管运行时参数config.toml管模型和工具接入。下面是我实测可用的骨架你可以直接复制后改 Key。3.1 settings.json运行时参数{ benchmark: widesearch, dataset_path: ./data/widesearch_200.jsonl, output_dir: ./results, max_turns: 30, max_search_per_turn: 5, timeout_seconds: 600, parallel_workers: 4, eval_mode: semantic, save_trace: true, log_level: INFO }几个关键参数说明max_turns控制单个任务的最大交互轮数WideSearch 的复杂任务建议不低于 30parallel_workers是并发任务数根据你的 API 速率限制调整eval_mode设为semantic才会启用官方那套语义等价评分比如北京和Beijing算同一个答案。3.2 config.toml模型接入配置[llm] provider openai_compatible base_url https://taotoken.net/api api_key sk-your-taotoken-key model claude-sonnet-4-20250514 temperature 0.0 max_tokens 4096 timeout 120 [llm.fallback] enabled true model gpt-4o max_retries 3 [search] provider serpapi api_key your-serpapi-key max_results_per_query 10 [agent] framework multi_agent planner_model claude-sonnet-4-20250514 executor_model claude-sonnet-4-20250514 verifier_model gpt-4o这里base_url指向 TaoToken 的 API 地址api_key填你在控制台生成的 Key。model字段就是被测模型切换跑分对象时只改这一行。[agent]段里可以给 planner、executor、verifier 分别指定不同模型方便做多智能体消融实验。3.3 批量跑分脚本片段import toml import json from openai import OpenAI config toml.load(config.toml) client OpenAI( base_urlconfig[llm][base_url], api_keyconfig[llm][api_key] ) models_to_test [ claude-sonnet-4-20250514, gpt-4o, gemini-2.5-pro, deepseek-r1 ] for model_name in models_to_test: config[llm][model] model_name # 重新加载配置后跑评测 print(fRunning benchmark for {model_name}) # run_widesearch_eval(config)这段代码的核心逻辑是接入层不变只循环改model字段。TaoToken 的统一 Key 让这个循环不需要为每个模型准备不同的凭证。4. 验证请求一条命令跑通基准配置写好后先别急着跑全量 200 个任务。用一条最小验证命令确认接入层通了再上批量。4.1 单任务冒烟测试python run_eval.py \ --config config.toml \ --settings settings.json \ --task_id ws_001 \ --dry_run false \ --verbose这条命令只跑数据集里的第一个任务输出会打印完整的 Agent 交互轨迹规划了哪些子查询、调用了多少次搜索、每轮返回了什么、最终答案是什么格式。如果这一步能跑通说明 TaoToken 接入、搜索工具、评测逻辑三者都正常。4.2 成功结果长什么样跑通后你会看到类似这样的输出{ task_id: ws_001, model: claude-sonnet-4-20250514, status: completed, turns_used: 18, search_calls: 42, final_answer: ..., eval_score: { precision: 0.87, recall: 0.72, f1: 0.79, exact_match: false }, trace_path: ./results/ws_001_trace.json }重点看eval_score里的recall——WideSearch 的核心难点就是召回率漏掉任何一条记录整个任务就算失败。trace_path指向完整的交互日志排障时必看。4.3 批量跑分python run_eval.py \ --config config.toml \ --settings settings.json \ --dataset ./data/widesearch_200.jsonl \ --output ./results/claude_sonnet_4 \ --parallel 4跑完后在./results/claude_sonnet_4下会生成汇总报告包含整体成功率、各领域细分得分、平均交互轮数等指标。你可以用同样的命令换model字段跑其他模型结果目录分开存方便横向对比。5. 本篇常见错排查5.1 401 认证失败最常见的原因是api_key没填对或者base_url末尾多了/v1。TaoToken 的接入地址是https://taotoken.net/apiSDK 会自动拼接/v1/chat/completions你不需要手动加。如果报 401先检查 Key 是否在控制台正确生成再确认base_url没有多余路径。5.2 模型名不识别TaoToken 的model字段需要填目标模型的标准名称。如果你填了一个不存在的模型名会返回 404 或 model not found。建议先在模型对话页面确认可用模型列表再填到 config.toml 里。5.3 搜索工具超时WideSearch 的任务需要大量搜索调用如果你的搜索工具SerpAPI 等有速率限制parallel_workers设太高会触发 429。建议先从parallel_workers 2开始稳定后再往上加。另外timeout_seconds在 settings.json 里控制单任务超时复杂任务建议不低于 600 秒。5.4 评测分数异常低如果跑出来的 recall 远低于预期先看 trace 日志里 Agent 是否真的执行了多轮搜索。常见问题是max_turns设太小Agent 还没收集完信息就被强制结束。WideSearch 的复杂任务建议max_turns不低于 30max_search_per_turn不低于 5。5.5 语义评分不生效官方评分依赖语义等价判断如果你的eval_mode设成了exact那北京和Beijing会被判为不同答案分数会虚低。确认 settings.json 里eval_mode是semantic并且评分模型能正常调用。6. 接入与跑分的下一步配置骨架和验证命令给完了接下来就是按你的实际评测需求调整参数。如果你在排障过程中遇到接入层的问题可以直接去 API Keys 页面检查 Key 状态接入文档里有完整的参数说明和错误码对照。验证模型本身的能力时用模型对话页面快速试几个 WideSearch 风格的查询看看模型的多跳检索表现再决定要不要上全量跑分。如果你打算长期做 Agent 评测或者需要批量跑 coding 类任务Coding Plan 的额度模式会比按次调用更划算。跑分这件事配置对了就成功了一半。剩下的就是耐心看 trace、调参数、对比结果。WideSearch 的 5.1% 成功率不是终点而是起点——你的评测环境跑通了才有资格去讨论怎么把这个数字往上推。
