IntelliCLI 开源啦！！！用 Docker + ollama 把本地 LLM 接进命令行

1. 为什么要在命令行里接本地 LLMIntelliCLI 开源之后我第一时间把它拉下来跑了一遍。它本质上是一个把自然语言指令翻译成可执行任务流的 CLI 智能助手和 Claude Code、Gemini CLI 的思路类似但最大的区别是模型层可以自定义支持 ollama 本地模型。这意味着你的代码、日志、配置片段不需要离开本机隐私有保障也不用担心 token 账单。适合谁用三类人最直接受益一是日常在终端里泡着的后端/运维开发者想把「查日志、写脚本、生成测试用例」这类重复动作交给 AI二是对数据外发敏感、希望模型跑在本地的团队三是想研究 CLI Agent 架构、拿 IntelliCLI 当二次开发底座的工程师。这篇聚焦一条落地路径用 Docker 跑 IntelliCLI用 ollama 提供本地 LLM把整条对话链路打通。我会给出可复制的 Docker 启动命令、ollama 模型拉取步骤、IntelliCLI 的配置骨架最后附一条验证链路是否真正打通的检查动作。全程不需要 GPU 也能跑小模型有 GPU 则体验更好。2. TaoToken 前置给 IntelliCLI 留一条云端模型通道本地 ollama 适合隐私敏感和离线场景但小模型在复杂任务拆解、长上下文推理上会吃力。实际用下来比较稳的做法是双通道日常轻量任务走 ollama 本地模型复杂任务或本地模型明显答偏时切到云端模型兜底。TaoToken 在这里的角色是提供一个兼容 OpenAI 风格接口的模型接入层IntelliCLI 的配置里只要填 base_url 和 api_key 就能接上。官网入口在 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 地址是 https://taotoken.net/api 这个不加 UTM。你需要先去控制台生成 key再决定把哪个模型写进 IntelliCLI 的配置。几个常用入口先记一下后面配置会用到模型对话体验https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodel_chatutm_campaignrewriteCoding Plan长期编码/Agent 场景https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding_planutm_campaignrewrite控制台https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewriteAPI Keys 管理https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite接入文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewriteClaudeCodeAnthropic 兼容说明https://taotoken.net/claudecode-anthropic?utm_sourcetaotoken_aicg_blog_endutm_contentclaudecodeutm_campaignrewrite注意本地 ollama 和云端通道是互补关系不是二选一。IntelliCLI 支持模型热插拔配置里可以同时保留两套按任务切换。3. 可复制配置Docker 跑 IntelliCLI ollama 本地模型这一节是核心按顺序执行即可。假设你已经装好 Docker 和 Docker Composeollama 也已经在宿主机或另一台机器上跑起来。3.1 拉取 IntelliCLI 并初始化git clone https://github.com/MR-MaoJiu/IntelliCLI.git cd IntelliCLI make initmake init会生成.env和默认配置骨架。如果你不想用 make也可以手动复制模板cp .env.example .env3.2 启动 ollama 并拉取模型如果宿主机还没跑 ollama用官方镜像起一个docker run -d --name ollama \ -p 11434:11434 \ -v ollama_data:/root/.ollama \ ollama/ollama:latest然后拉一个适合命令行任务的模型。7B 级别在 16G 内存机器上能跑代码能力优先选 qwen2.5-coderdocker exec -it ollama ollama pull qwen2.5-coder:7b docker exec -it ollama ollama pull llama3.1:8b拉完确认模型在列表里docker exec -it ollama ollama list3.3 配置 IntelliCLI 指向 ollama编辑.env把模型通道指向 ollama 的 OpenAI 兼容接口。ollama 从 0.1.30 之后提供了/v1兼容端点# .env OLLAMA_BASE_URLhttp://host.docker.internal:11434/v1 OLLAMA_API_KEYollama OLLAMA_MODELqwen2.5-coder:7b # 云端兜底通道可选 TAOTOKEN_BASE_URLhttps://taotoken.net/api TAOTOKEN_API_KEYsk-你的key TAOTOKEN_MODEL你的模型名注意Linux 下host.docker.internal默认不解析需要在 docker run 时加--add-hosthost.docker.internal:host-gateway或者直接写宿主机内网 IP。3.4 用 Docker Compose 一键起 IntelliCLI在项目根目录建一个docker-compose.override.yml把 IntelliCLI 和 ollama 放同一网络省去 host 解析问题services: intellicli: build: . env_file: .env environment: - OLLAMA_BASE_URLhttp://ollama:11434/v1 depends_on: - ollama stdin_open: true tty: true volumes: - ./workspace:/workspace ollama: image: ollama/ollama:latest ports: - 11434:11434 volumes: - ollama_data:/root/.ollama volumes: ollama_data:启动docker compose up -d docker compose exec ollama ollama pull qwen2.5-coder:7b docker compose exec intellicli make session3.5 配置骨架说明IntelliCLI 的模型配置通常分两层主模型负责任务拆解和路由专业模型负责具体执行代码、文档、图片分析。在配置文件里大致长这样models: main: provider: ollama base_url: http://ollama:11434/v1 model: qwen2.5-coder:7b api_key: ollama fallback: provider: openai_compatible base_url: https://taotoken.net/api model: 你的模型名 api_key: ${TAOTOKEN_API_KEY} routing: code_task: main long_context: fallback default: main这样配置后短任务走本地长上下文或本地模型连续失败时自动切云端。4. 验证请求确认对话链路真的打通配置完别急着用先做一条最小验证。IntelliCLI 启动 session 后输入一句明确指令观察它是否真的调到了 ollama。第一步确认 ollama 接口本身可用curl http://localhost:11434/v1/chat/completions \ -H Content-Type: application/json \ -d { model: qwen2.5-coder:7b, messages: [{role: user, content: 用一句话说明什么是CLI}] }返回里有choices[0].message.content就说明 ollama 的 OpenAI 兼容层正常。第二步在 IntelliCLI 里发一条会触发工具调用的指令比如帮我列出当前目录下所有 .py 文件并统计行数预期结果是它先拆解成「列文件 → 统计行数」两个子任务然后生成并执行对应命令。如果它只是干聊不执行说明模型没走通工具调用链路。第三步看 ollama 日志确认请求真的打到了本地docker logs -f ollama你会看到类似POST /v1/chat/completions的记录。如果日志里没有新请求而 IntelliCLI 又返回了内容那大概率是 fallback 通道在兜底本地链路其实没通。提示验证阶段建议先把 fallback 注释掉只留 ollama这样链路是否打通一目了然。5. 本篇常见错排查报错一Connection refused连不上 ollama。九成是容器网络问题。IntelliCLI 容器里写localhost:11434指的是它自己不是宿主机。用 Compose 同网络时写服务名ollama:11434用docker run时写host.docker.internal:11434并加--add-host。报错二模型返回 404model not found。ollama 里没拉这个模型或者模型名写错。ollama list看准确名称注意带不带:latest后缀。报错三工具调用不生效模型只输出文本。部分小模型对 function calling 支持不完整。换qwen2.5-coder或llama3.1这类明确支持工具调用的模型别用纯对话模型硬扛。报错四响应特别慢或超时。本地 7B 模型在 CPU 上推理本来就慢首次加载还要等权重进内存。给 IntelliCLI 的请求超时调大或者换更小的 3B 模型先跑通流程。报错五.env改了但没生效。Docker Compose 的env_file在容器启动时读取改完要docker compose up -d --force-recreate重建容器光 restart 不重读。报错六中文乱码或截断。检查终端 locale 和容器内LANG环境变量Compose 里加LANGC.UTF-8通常能解决。6. 后续怎么用本地优先云端兜底链路打通之后日常用法就很顺了。轻量的代码片段生成、日志分析、命令解释交给 ollama 本地模型响应快、零成本、数据不出机器。遇到需要长上下文推理、复杂多步任务拆解的场景再切到 TaoToken 的云端通道通过 API Keys 页面管理好 key接入文档里有完整的参数说明。如果你打算把 IntelliCLI 当长期编码助手用Coding Plan 那条线更合适模型调度和额度策略都针对 Agent 场景做过优化。模型对话入口可以先用来对比不同模型在同一任务上的表现确定哪套组合最适合你的工作流。我自己的配置是默认走qwen2.5-coder:7b路由规则里把「长上下文」和「连续失败两次」两个条件指向云端。这样既保住了隐私底线又不会在难题上卡死。你可以先按本文的骨架跑通再根据自己的机器配置和任务类型微调路由规则。