Skip to content
学习笔记 · Lv2 调用大模型

本地部署 Ollama

在自己电脑上跑起大模型。

支线8 章

开始学习 → 从「第 1 章:为什么要在自己电脑上跑」读起← 回到书架

本地部署 Ollama ​

云上的模型很好用,直到你有一份不能出门的资料。这门课把大模型装进你自己的电脑:装起来、挑对模型、变成 API、接上资料,最后说清它到底干不了什么。


🗺️ 学习路线图 ​

阶段章节你要解决的事
🤔 想清楚第 1–2 章这笔账该不该算、这台机器跑不跑得动
🔧 跑起来第 3–6 章装好、挑对模型、变成 API、把手感调顺
🧩 用起来第 7–8 章接上自己的资料,划清什么时候该回云端

📚 章节导航 ​

章节难度 · 阅读一句话概要
1 · 为什么要本地跑⭐ 15 min数据不出门、断网可用、高频不烧钱:好处与代价
2 · 显存怎么算⭐⭐ 18 min权重 + KV cache + 缓冲,一道乘法判断能不能跑
3 · 装上 Ollama⭐ 15 min三平台安装、服务验证、拉模型、五个常见报错
4 · 模型怎么挑⭐⭐ 18 minq4_K_M 这类标签怎么读,中文模型选哪个
5 · 本地 API 接口⭐⭐ 18 min原生与 OpenAI 兼容两套接口,改一行地址切后端
6 · 速度与并发⭐⭐ 20 min首字延迟、tok/s、上下文与并行数,五招提速
7 · embedding 地基⭐⭐ 18 min把资料变成向量,为 RAG 打通最容易被卡的一步
8 · 何时回云端⭐⭐ 16 min四条能力边界、成本算式、混合方案与合规线

🎯 适合人群 ​

人群推荐起点阅读建议
手上没有显卡,只想试试第 1 章先看 1.4 的能力边界,再决定要不要买卡
有卡,一直没跑起来第 3 章重点 3.5 的五个报错,多半能对上
要给团队做内部工具第 1 章第 5、6、8 章必读:接口、并发、边界
想做私有知识库第 7 章第 7 章打地基,完整 RAG 在 Lv4
已经在用云 API第 5 章看 5.4,同一套代码换 base_url 就能切本地

📂 目录结构 ​

docs/notes/local-llm/            # 课程正文(线上路径 /notes/local-llm/)
├── README.md                    # 本页:学习路线与章节导航
└── chapters/                    # 8 个章节
    ├── 01-why-local.md
    ├── 02-vram-budget.md
    ├── 03-install-ollama.md
    ├── 04-model-quantization.md
    ├── 05-local-api.md
    ├── 06-speed-context.md
    ├── 07-embedding.md
    └── 08-cloud-boundary.md

🧭 怎么读这门课 ​

  • 有明确目标(比如"给公司做个内网问答"):1 → 2 → 3 → 5 → 7 → 8,第 4、6 章当参考随时查;
  • 只想跑起来玩玩:1.4(先看边界)→ 3 → 4,半天够了;
  • 已经在调接口:直接 5、6,前面当背景补;
  • 要对外提供服务:务必读第 8 章,尤其是 8.5 的合规线。

这门课全程不需要写复杂代码:命令、接口、一张表就能说清的事,不堆代码。第 5 章之后才有 Python,但也只有十几行。


🔗 和其他课的衔接 ​

关系课程怎么接
前置Python 零基础第 5、7 章的代码只用到基础语法
对照大模型 API 调用第 5.4 节把那边写的周报生成器切到本地
呼应结构化输出与 Function Calling第 8 章说明本地工具调用为什么不稳
后续Lv4「RAG 系统从零搭建」第 7 章的 embedding 是那门课的前置
本文阅读--次|全站访问--次|访客--人