本地部署 Ollama
云上的模型很好用,直到你有一份不能出门的资料。这门课把大模型装进你自己的电脑:装起来、挑对模型、变成 API、接上资料,最后说清它到底干不了什么。
🗺️ 学习路线图
| 阶段 | 章节 | 你要解决的事 |
|---|
| 🤔 想清楚 | 第 1–2 章 | 这笔账该不该算、这台机器跑不跑得动 |
| 🔧 跑起来 | 第 3–6 章 | 装好、挑对模型、变成 API、把手感调顺 |
| 🧩 用起来 | 第 7–8 章 | 接上自己的资料,划清什么时候该回云端 |
📚 章节导航
🎯 适合人群
| 人群 | 推荐起点 | 阅读建议 |
|---|
| 手上没有显卡,只想试试 | 第 1 章 | 先看 1.4 的能力边界,再决定要不要买卡 |
| 有卡,一直没跑起来 | 第 3 章 | 重点 3.5 的五个报错,多半能对上 |
| 要给团队做内部工具 | 第 1 章 | 第 5、6、8 章必读:接口、并发、边界 |
| 想做私有知识库 | 第 7 章 | 第 7 章打地基,完整 RAG 在 Lv4 |
| 已经在用云 API | 第 5 章 | 看 5.4,同一套代码换 base_url 就能切本地 |
📂 目录结构
docs/notes/local-llm/ # 课程正文(线上路径 /notes/local-llm/)
├── README.md # 本页:学习路线与章节导航
└── chapters/ # 8 个章节
├── 01-why-local.md
├── 02-vram-budget.md
├── 03-install-ollama.md
├── 04-model-quantization.md
├── 05-local-api.md
├── 06-speed-context.md
├── 07-embedding.md
└── 08-cloud-boundary.md
1
2
3
4
5
6
7
8
9
10
11
🧭 怎么读这门课
- 有明确目标(比如"给公司做个内网问答"):1 → 2 → 3 → 5 → 7 → 8,第 4、6 章当参考随时查;
- 只想跑起来玩玩:1.4(先看边界)→ 3 → 4,半天够了;
- 已经在调接口:直接 5、6,前面当背景补;
- 要对外提供服务:务必读第 8 章,尤其是 8.5 的合规线。
这门课全程不需要写复杂代码:命令、接口、一张表就能说清的事,不堆代码。第 5 章之后才有 Python,但也只有十几行。
🔗 和其他课的衔接