模型不是魔法。它把一句话切成词、变成一串数、让每个词互相看一眼、再算下一个词该是谁。这门课把这五步拆开,每一步都用一个能手算的例子讲清楚。
🗺️ 学习路线图
| 阶段 | 章节 | 你要解决的事 |
|---|
| 🧩 先建立"词就是数" | 第 1 章 | 跑通小模型、看懂 tokenize → id → embedding |
| 🔍 拆开注意力 | 第 2–3 章 | 手算打分、缩放、归一、加权;Q/K/V 为什么要分开 |
| 👀 多视角与顺序 | 第 4–5 章 | 多头怎么并行、位置怎么进去 |
| 🏗 拼成整机 | 第 6 章 | 残差、归一化、FFN,一层约 12d² |
| 💰 能生成、能算账 | 第 7–8 章 | logits → 采样 → KV cache;参数与显存估算 |
📚 章节导航
🎯 适合人群
| 人群 | 推荐起点 | 阅读建议 |
|---|
| 会调 API,但说不清模型怎么工作 | 第 1 章 | 一路读到第 6 章,中间别跳 |
| 被"注意力机制"这个词卡住 | 第 2、3 章 | 拿纸算一遍 4×4 的表,比读十篇文章有用 |
| 要选模型、算显存、定并发 | 第 8 章 | 8.3 与 8.6 两张表可以直接套 |
| 想做微调但不懂结构 | 第 3–6 章 | 先知道参数在哪,再谈改哪 |
| 只想看懂论文摘要 | 第 2、6、7 章 | 抓三个动作:打分、聚合、采样 |
📂 目录结构
docs/notes/transformer/ # 课程正文(线上路径 /notes/transformer/)
├── README.md # 本页:学习路线与章节导航
└── chapters/ # 8 个章节
├── 01-tokens-to-vectors.md
├── 02-attention.md
├── 03-qkv.md
├── 04-multi-head.md
├── 05-position.md
├── 06-block.md
├── 07-generation.md
└── 08-params-memory.md
1
2
3
4
5
6
7
8
9
10
11
🧭 怎么读这门课
- 想快速建立直觉:1 → 2 → 6,一个下午能打通"输入到输出";
- 想动手验证:每章的代码都能单独跑,第 5 章那两个布尔值最能说明问题;
- 想算成本:直接看第 8 章,但 8.3 的 KV cache 公式依赖第 7 章;
- 想为微调做准备:3 → 4 → 6,先搞清楚参数长在哪。
这门课刻意做了三处取舍:
- 不读论文、不推反向传播。论文留给想深挖的人,这里只保证"你能讲清楚它在算什么"。
- 代码只用最基础的算子。
q @ k.T / sqrt(d) 手写一遍,比调用封装好的层有用得多。 - 图和表的分工是明确的。概念用示意图,数值用热力图和表格——因为到这一层,抽象的箭头框图已经解释不了任何东西了。
🔗 和其他课的衔接
| 关系 | 课程 | 怎么接 |
|---|
| 前置 | 向量数据库实战 | 那边讲"向量怎么比相似",本课第 1–2 章讲相似度从哪来、怎么用 |
| 前置 | RAG 系统从零搭建 | 那边的切片、上下文、token 计费,本课第 1 章与第 8 章给出机制解释 |
| 呼应 | 部署上线与成本控制 | 第 8 章的成本闸门,本课第 8 章解释"为什么长上下文会贵" |
| 后续 | Lv6「HuggingFace 上手」 | 本课第 1 章的 AutoModel 只是开始,那边系统讲加载、推理、数据集 |
| 后续 | Lv6「微调 LoRA / PEFT」 | 知道参数在哪,才知道 LoRA 挂在哪一层 |
📐 一门课的边界
| 讲 | 不讲 |
|---|
| 一个 Block 里的四个部件与形状 | 训练全流程、分布式并行、混合精度细节 |
| 能手算的小例子(4 个词、2–4 维) | 完整数学推导与论文证明 |
| 位置编码的两代做法与取舍 | 各家长上下文外推技巧的完整对比 |
| 参数量、显存、成本的估算公式 | 具体硬件的跑分与选卡建议 |
| 采样参数对输出的影响 | 对齐、RLHF、奖励模型 |
判断标准:读完能对着白板把一个模型的输入输出讲一遍,并且能算出它大概多贵。 能不能训一个,是另一门课。