Skip to content
学习笔记 · Lv6 原理与模型

Transformer 原理

小白也能看懂的注意力机制。

主线8 章

开始学习 → 从「第 1 章:一句话进来,先变成数」读起← 回到书架

Transformer 原理 ​

模型不是魔法。它把一句话切成词、变成一串数、让每个词互相看一眼、再算下一个词该是谁。这门课把这五步拆开,每一步都用一个能手算的例子讲清楚。


🗺️ 学习路线图 ​

阶段章节你要解决的事
🧩 先建立"词就是数"第 1 章跑通小模型、看懂 tokenize → id → embedding
🔍 拆开注意力第 2–3 章手算打分、缩放、归一、加权;Q/K/V 为什么要分开
👀 多视角与顺序第 4–5 章多头怎么并行、位置怎么进去
🏗 拼成整机第 6 章残差、归一化、FFN,一层约 12d²
💰 能生成、能算账第 7–8 章logits → 采样 → KV cache;参数与显存估算

📚 章节导航 ​

章节难度 · 阅读一句话概要
1 · 一句话进来,先变成数⭐⭐ 18 min跑一个小模型、三步变形、4×4 向量表
2 · 注意力到底在算什么⭐⭐⭐ 24 min点积打分、√d 缩放、softmax 手算、因果掩码
3 · Q、K、V:三个角色的分工⭐⭐⭐ 20 min对称分数的毛病、三角色、形状流转
4 · 多头:为什么分成几份看⭐⭐⭐ 22 min单头局限、拼接与 W_o、参数不加价、GQA
5 · 位置:顺序怎么进去⭐⭐⭐ 22 min置换等变、正弦编码、RoPE 旋转、相对距离
6 · 一个完整的 Block⭐⭐⭐ 20 min残差、Pre-LN、FFN d→4d→d、每层 12d²
7 · 生成一个字的全过程⭐⭐⭐ 22 minlogits、temperature/top-p、自回归、KV cache
8 · 参数量与显存估算⭐⭐⭐ 24 min三个公式、8K 会话 1 GiB、成本从哪来

🎯 适合人群 ​

人群推荐起点阅读建议
会调 API,但说不清模型怎么工作第 1 章一路读到第 6 章,中间别跳
被"注意力机制"这个词卡住第 2、3 章拿纸算一遍 4×4 的表,比读十篇文章有用
要选模型、算显存、定并发第 8 章8.3 与 8.6 两张表可以直接套
想做微调但不懂结构第 3–6 章先知道参数在哪,再谈改哪
只想看懂论文摘要第 2、6、7 章抓三个动作:打分、聚合、采样

📂 目录结构 ​

docs/notes/transformer/              # 课程正文(线上路径 /notes/transformer/)
├── README.md                        # 本页:学习路线与章节导航
└── chapters/                        # 8 个章节
    ├── 01-tokens-to-vectors.md
    ├── 02-attention.md
    ├── 03-qkv.md
    ├── 04-multi-head.md
    ├── 05-position.md
    ├── 06-block.md
    ├── 07-generation.md
    └── 08-params-memory.md

🧭 怎么读这门课 ​

  • 想快速建立直觉:1 → 2 → 6,一个下午能打通"输入到输出";
  • 想动手验证:每章的代码都能单独跑,第 5 章那两个布尔值最能说明问题;
  • 想算成本:直接看第 8 章,但 8.3 的 KV cache 公式依赖第 7 章;
  • 想为微调做准备:3 → 4 → 6,先搞清楚参数长在哪。

这门课刻意做了三处取舍:

  1. 不读论文、不推反向传播。论文留给想深挖的人,这里只保证"你能讲清楚它在算什么"。
  2. 代码只用最基础的算子。q @ k.T / sqrt(d) 手写一遍,比调用封装好的层有用得多。
  3. 图和表的分工是明确的。概念用示意图,数值用热力图和表格——因为到这一层,抽象的箭头框图已经解释不了任何东西了。

🔗 和其他课的衔接 ​

关系课程怎么接
前置向量数据库实战那边讲"向量怎么比相似",本课第 1–2 章讲相似度从哪来、怎么用
前置RAG 系统从零搭建那边的切片、上下文、token 计费,本课第 1 章与第 8 章给出机制解释
呼应部署上线与成本控制第 8 章的成本闸门,本课第 8 章解释"为什么长上下文会贵"
后续Lv6「HuggingFace 上手」本课第 1 章的 AutoModel 只是开始,那边系统讲加载、推理、数据集
后续Lv6「微调 LoRA / PEFT」知道参数在哪,才知道 LoRA 挂在哪一层

📐 一门课的边界 ​

讲不讲
一个 Block 里的四个部件与形状训练全流程、分布式并行、混合精度细节
能手算的小例子(4 个词、2–4 维)完整数学推导与论文证明
位置编码的两代做法与取舍各家长上下文外推技巧的完整对比
参数量、显存、成本的估算公式具体硬件的跑分与选卡建议
采样参数对输出的影响对齐、RLHF、奖励模型

判断标准:读完能对着白板把一个模型的输入输出讲一遍,并且能算出它大概多贵。 能不能训一个,是另一门课。

本文阅读--次|全站访问--次|访客--人