Local Deep Research 指标仪表盘(Metrics Dashboard)实战指南:追踪 Token 成本、搜索健康度与研究质量
Local Deep Research 指标仪表盘Metrics Dashboard实战指南追踪 Token 成本、搜索健康度与研究质量【免费下载链接】local-deep-research~95% on SimpleQA (e.g. Qwen3.6-27B on a 3090). Supports all local and cloud LLMs (llama.cpp, Ollama, Google, ...). 10 search engines - arXiv, PubMed, your private documents. Everything Local Encrypted.项目地址: https://gitcode.com/GitHub_Trending/lo/local-deep-research本地深度研究Local Deep Research系统的 Metrics Dashboard 是一套内置的、完全本地化的分析与监控面板围绕 LLM Token 用量与成本、多搜索引擎健康度、研究会话统计、用户星级评价与限流Rate Limiting状态提供一站式可视化。本指南以 docs/analytics-dashboard.md 为核心脉络结合 metrics 路由源码 与相关测试完整讲解从访问、读图、API 拉取到基于数据进行成本优化、搜索调优与研究质量改进的完整工作流。读完本文你将能够熟练使用/metrics面板与全部 Analytics API并理解这些指标在底层是如何被采集与聚合的。一、仪表盘概述能监控什么Metrics Dashboard 追踪四类核心数据覆盖研究活动从钱到效果的完整闭环Token 用量与各 LLM 提供商的成本输入/输出 Token 拆分、按模型与提供商的费用估算搜索引擎性能与健康度各引擎的成功率、响应时间、限流状态研究会话统计总研究次数、时长、完成状态、策略使用与查询复杂度用户满意度评分15 星评价与反馈文本分析限流状态实时等待时间与历史限流事件。访问方式Web 界面浏览器访问/metrics直接 URLhttp://localhost:5000/metrics。从源码看所有指标接口都挂在同一个 FastAPI 路由下metrics.py 中声明router APIRouter(prefix/metrics, tags[metrics])且每个接口都通过require_auth依赖校验登录会话 Cookie因此直接 curl 前需要先完成登录认证。二、主面板组件与时间过滤2.1 系统概览卡片Overview Cards主仪表盘首屏以卡片形式呈现关键指标卡片说明Total Tokens Used总 Token 消耗量可点击展开查看按模型的输入/输出拆分Total Researches已完成的研究会话总数Average Response Time系统平均响应时间用于评估性能Success RateLLM 调用与操作的成功率百分比User Satisfaction用户反馈的平均星级评分Estimated Costs基于 Token 与模型单价估算的成本按提供商拆分这些指标的数据来源与聚合逻辑可参考 dashboard-improvements.md摘要卡片、可展开 Token 明细、响应时间毫秒转秒显示、成功率监控均已在实现清单中。更细化的增强追踪方案见 enhanced-token-tracking.md。2.2 时间范围与模式过滤面板支持按时间窗口过滤分析数据最近 7 天最近 30 天最近 3 个月最近 1 年全部时间All time此外还支持按研究模式Research mode过滤Quick Summary快速摘要Detailed详细研究All全部在源码中时间与模式过滤由 query_utils.py 的get_period_days与get_time_filter_condition等工具函数实现聚合逻辑的正确性由 tests/web/routers/test_metrics_analytics_aggregation.py 等测试覆盖。三、三个详细分析子页面3.1 星级评价分析Star Reviews Analytics访问路径/metrics/star-reviews。提供的功能5 星评分分布rating distribution按时间段统计的平均评分评分趋势可视化按模型与搜索引擎拆分的评分表现用户反馈文本分析。对应底层接口GET /metrics/api/star-reviews其分析逻辑get_rating_analytics(period, research_mode, username)返回平均分、评分分布、满意度统计等位于 metrics.py相关数据模型ResearchRating定义于 database/models/metrics.py并有 tests/web/routers/test_metrics_star_reviews.py 验证其行为。3.2 成本分析Cost Analytics访问路径/metrics/costs。追踪的指标包括按提供商OpenAI、Anthropic 等的成本拆分Token 用量明细输入/输出/合计成本随时间的变化趋势特定模型的成本分析不同研究类型的成本对比。成本计算的底层实现依赖 metrics/query_utils.py 中的价格表与 tests/metrics/test_cost_calculator.py、tests/metrics/test_pricing_fetcher.py 等测试价格数据可在线更新并缓存具体机制可阅读 tests/metrics/test_pricing_cache.py。3.3 限流仪表盘Rate Limiting Dashboard实时监控内容各搜索引擎的限流状态每个引擎的成功/失败率等待时间Wait Time追踪引擎健康度指示器状态含义判定标准 Healthy健康成功率 95% Degraded降级成功率 70%95% Poor差成功率 70%四、被追踪的指标明细Token 指标总 Token 数输入 输出按模型统计的 Token 用量每次研究的平均 Token 数Token 消耗趋势。Token 计数的实现位于local_deep_research/metrics模块TokenCounter在 metrics.py 中被导入使用采集与入库逻辑可参见 database/thread_metrics.py 与 tests/metrics/test_token_counter.py 系列测试。搜索指标搜索引擎使用频率每个引擎的响应时间成功/失败率结果数量统计。研究指标研究会话总数研究时长完成状态策略使用情况ResearchStrategy查询复杂度。性能指标API 响应时间系统延迟错误率吞吐量统计。五、数据导出5.1 研究报告导出单次研究结果支持三种导出格式PDF带引用的格式化报告Markdown带格式的原始 MarkdownJSON通过 API 获取的结构化数据。5.2 分析数据 API 导出所有分析数据均可通过 API 访问。这些端点全部位于 metrics 路由的/metrics前缀之下metrics.py 中的APIRouter(prefix/metrics)并且都要求已认证的会话 Cookie# 获取总体指标 curl http://localhost:5000/metrics/api/metrics # 获取特定研究指标 curl http://localhost:5000/metrics/api/metrics/research/{research_id} # 获取增强追踪数据 curl http://localhost:5000/metrics/api/metrics/enhanced # 获取评分分析 curl http://localhost:5000/metrics/api/star-reviews # 获取成本分析 curl http://localhost:5000/metrics/api/cost-analytics # 获取限流状态 curl http://localhost:5000/metrics/api/rate-limiting六、可视化方案Chart.js仪表盘使用Chart.js渲染图表覆盖四类可视化折线图Line ChartsToken 用量与搜索活动随时间的变化柱状图Bar Charts模型用量对比、成本拆分饼图Pie Charts提供商分布、搜索引擎使用占比进度指示器Progress Indicators成功率、健康状态。前端页面模板位于 web/templates/pages/metrics.html配套的运行时测试可见 tests/js/pages/metrics-dashboard-runtime.test.js 与 tests/ui_tests/test_metrics_chart.js。七、成本追踪自动计算与支持提供商7.1 自动成本计算成本估算基于四个输入提供商定价OpenAI、Anthropic 等实际 Token 用量模型专属费率输入与输出 Token 分别计费。7.2 支持的提供商提供商代表模型备注OpenAIGPT-3.5、GPT-4按模型费率计费AnthropicClaude 系列按模型费率计费GoogleGemini 系列按模型费率计费本地模型Local—显示为 $0本地推理无 API 费用从源码结构可以推断价格数据与成本计算模块独立成包相关测试覆盖广泛例如 tests/metrics/test_cost_calculator.py、tests/metrics/pricing/test_pricing_fetcher_coverage.py以及 tests/web/routers/test_metrics_rate_limit_and_cost_endpoints.py 对成本端点的集成验证。八、限流分析与管理8.1 监控能力实时限流状态历史限流事件自动等待时间优化learned wait times 随搜索自动自适应按引擎的性能追踪。8.2 管理限流系统会根据实际搜索运行情况自动学习并调整等待时间。如需主动干预可在设置Settings中调整限流配置文件rate limiting profile三档可选Conservative保守等待更久降低触发限流的概率Balanced均衡默认折中方案Aggressive激进等待更短吞吐更高但更易被限流。限流相关实现可参考 tests/search_engines/test_rate_limiter.py、tests/rate_limiting/test_rate_limiting.py 等测试目录以及数据模型RateLimitEstimate导入自 database/models/metrics.py。九、隐私与数据存储所有分析数据本地存储不接入任何外部分析服务无第三方埋点数据保存在SQLite 数据库中支持可配置的数据保留策略configurable retention。这符合项目Everything Local Encrypted的定位指标数据与研究数据一样始终留在用户自己的机器上。十、用分析数据驱动优化10.1 定位成本驱动因素在成本分析页审查高 Token 消耗的查询对比模型成本与对应质量评分针对不同任务优化模型选择。10.2 改进搜索性能监控各搜索引擎健康状态识别频繁被限流的引擎依据成功率调整搜索策略。10.3 提升研究质量按研究类型分析用户评分复盘低分会话寻找共性问题根据反馈调整参数。十一、与基准测试系统的集成高级用户可将分析数据与基准测试系统联动追踪不同配置下的性能表现可视化优化结果当环境安装了 matplotlib 时对比质量与速度的权衡导出基准测试数据供进一步分析。相关配套文档见 基准测试指南 与 CLI 工具文档。十二、API 参考完整端点Metrics 端点# 总体指标可带时间与模式过滤 curl http://localhost:5000/metrics/api/metrics?days30modequick # 特定研究的指标 curl http://localhost:5000/metrics/api/metrics/research/id # 增强指标详细追踪 curl http://localhost:5000/metrics/api/metrics/enhanced # 星级评分数据 curl http://localhost:5000/metrics/api/star-reviews?days30 # 成本拆分可按提供商过滤 curl http://localhost:5000/metrics/api/cost-analytics?provideropenai # 限流状态 curl http://localhost:5000/metrics/api/rate-limiting其中days参数对应上文的时间过滤窗口mode对应研究模式过滤quick / detailed / all底层聚合分别由get_time_filter_condition、get_period_days与get_rating_analytics等函数完成见 metrics.py 及 query_utils.py。另外metrics-dashboard.md 还补充了更细粒度的接口表包括GET /metrics/api/metrics/research/id/timeline研究执行时间线GET /metrics/api/metrics/research/id/search单次研究内的搜索指标GET /metrics/api/metrics/research/id/links研究过程中发现的链接GET /metrics/api/pricing与GET /metrics/api/pricing/model模型定价数据POST /metrics/api/domain-classifications/classify批量域名分类如{domains: [example.com, arxiv.org]}GET /metrics/api/link-analytics链接分析聚合数据GET /metrics/api/ratings/research_id与POST /metrics/api/ratings/research_id读取与提交评分Body 如{rating: 5, feedback: Excellent results}。十三、常见问题排查没有数据显示请先完成至少一次研究确认 Token 追踪已启用然后刷新页面。成本估算不准核对模型定价是否为最新、提供商识别是否正确不同模型的 Token 统计口径可能有差异。限流数据缺失先运行一些搜索产生数据然后在设置中确认限流功能已启用再刷新仪表盘。相关文档功能文档配置指南完整配置参考API 快速上手基准测试指南指标面板增强说明增强 Token 追踪说明【免费下载链接】local-deep-research~95% on SimpleQA (e.g. Qwen3.6-27B on a 3090). Supports all local and cloud LLMs (llama.cpp, Ollama, Google, ...). 10 search engines - arXiv, PubMed, your private documents. Everything Local Encrypted.项目地址: https://gitcode.com/GitHub_Trending/lo/local-deep-research创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考