零基础在自己电脑上跑大模型：Ollama 使用教程
想隐私离线聊、又不想按 token 付费？先把 Ollama 装上、跑通一个 7B，再谈网页 UI 和本地 RAG——别一上来就幻想追上云端旗舰。
前置：Windows / macOS / Linux；建议内存 ≥ 16GB（8GB 也能跑小模型）；磁盘预留数 GB 至数十 GB。无独显也能用，只是更慢。
本地 7B/14B 的定位是「私密、免费、可控」——不是和 GPT-6 同级竞技。
安装，然后立刻跑起来
macOS / Windows：到 ollama.com 下安装包。Linux：
curl -fsSL https://ollama.com/install.sh | sh ollama --version
ollama run qwen2.5:7b
首次自动下载。输入 /bye 退出。公司代理拦截就配 HTTPS_PROXY 或换镜像。
按内存选型，别硬刚
| 内存/可用显存 | 建议规模 | 体感 |
|---|---|---|
| 8GB | 3B–4B | 能聊，复杂推理弱 |
| 16GB | 7B–8B | 日常写作/编码辅助较够 |
| 32GB+ | 14B–32B | 更稳，仍逊云端旗舰 |
Q4 等量化更省内存，质量会打折。16GB 机器硬上 70B，流畅是幻觉。
常用命令与本地 API
ollama list ollama ps ollama pull 名称 ollama rm 名称
默认监听 11434。许多工具把 Base URL 设为 http://localhost:11434/v1：
curl http://localhost:11434/api/generate -d '{
"model": "qwen2.5:7b",
"prompt": "用一句话介绍什么是量化",
"stream": false
}'
只绑 127.0.0.1，勿把端口映射到公网。编辑器插件：API Key 填 ollama 或任意非空（视插件要求）。
可选：Modelfile 与网页 UI
FROM qwen2.5:7b SYSTEM 你是简洁的中文编程助手，优先给可运行代码。 PARAMETER temperature 0.4
ollama create my-coder -f Modelfile ollama run my-coder
Open WebUI 等前端很香——若开了联网插件，就不再「纯本地」。合盖休眠会中断大模型下载，接电并保持唤醒。
常见坑
- 磁盘被多个大模型填满 → 定期
ollama rm。 - 中文效果差 → 换中文见长的系列，并写清系统提示。
- 期望追平云端 → 心态先摆正；强推理/长链路工具调用仍看云端。
接到编辑器，再谈本地 RAG
许多编辑器插件支持 OpenAI 兼容接口：Base URL 设 http://127.0.0.1:11434/v1，模型名填已 pull 的标签。先在终端确认模型能聊，再开插件，排错更轻松。
没有独显时，7B 量化在现代 CPU/统一内存上通常可交互，长上下文会明显变慢。需要读整仓代码时，检索后再喂片段，别把上万行一次性塞进上下文。
本地 RAG 最短路径：文档切小段 → 嵌入或关键词索引 → Top-K 拼进提示词再交给 Ollama。先对 3–5 篇文档跑通，再谈整库。原文不出网是好处；嵌入与检索质量要你自己调，是代价。
和云端分工：隐私草稿、离线、本地 RAG 用 Ollama；强推理、联网工具、团队审计用云端。同一套兼容客户端切换 base_url 成本很低。
Windows 若命令行找不到 ollama，重开终端或检查 PATH。macOS 公司 MDM 可能拦截后台服务。笔记本合盖会中断长下载。
最后
完成标准：① ollama run … 能多轮对话；② ollama list 看得到模型；③ curl 经 127.0.0.1:11434 返回文本且未对公网暴露。把跑通的模型名、机器内存、体感速度记一行——下次换机器不用从头猜该下 7B 还是 14B。