第 1 章:一句话进来,先变成数
模型不会认字。它认的是一串整数,以及每个整数对应的一行小数。这一章就先把它认字的方式看一遍,再拆后面。
学习目标
- 亲手跑一个 5 亿参数级(0.5B)的小模型,看到"输入文字、输出文字"
- 说清 tokenize → id → embedding 这三步各做了什么
- 用一张 4×4 的手算表,建立"每个词是一行数"的直觉
- 知道"位置信息"和"特殊标记"这两个不起眼但必需的补充
1.1 先让它说话
在拆之前,先看它活着的样子。下面这段代码会下载一个小模型并在本地跑:
# pip install torch transformers
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
name = "Qwen/Qwen2.5-0.5B-Instruct" # 5 亿参数级,约 1 GB,CPU 也能跑
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name)
messages = [{"role": "user", "content": "用一句话解释什么是注意力。"}]
ids = tok.apply_chat_template(
messages, return_tensors="pt", add_generation_prompt=True
)["input_ids"] # 新版返回字典,要取出 input_ids
out = model.generate(ids, max_new_tokens=40, do_sample=False)
print(tok.decode(out[0][ids.shape[1]:], skip_special_tokens=True))实测输出(0.5B 的模型,效果有限,但能看出它确实在答题):
在计算机视觉和自然语言处理领域,注意力机制是一种用于处理大量特征信息的方法,
通过将每个样本的输入映射到一个特定的维度来提高模型对复杂任务的理解能力会输出一句语义还算通顺的话。这一步的意义不是"我调通了 API"(那个在 Lv2 就做过),而是:你现在手里有一个可以随时拆开看的对象。后面每一章拆的,都是这同一次前向传播里的一小块。
两个实测过的坑:①
apply_chat_template在 transformers 5.x 默认返回字典(含input_ids与attention_mask),直接当张量用会报AttributeError,要取["input_ids"];② 别用纯英文小模型(如 SmolLM)跑中文——它的词表基本没有中文,一句话会被切成几十个字节碎片,输出也是一段不相干的英文。上面这段在 transformers 5.23 + torch 2.15 CPU 上跑通。
显存不足就把
max_new_tokens调小;CPU 也能跑,只是慢一些。
1.2 三步:切、查、变向量
ids = tok("今天天气不错").input_ids
print(ids) # [100644, 104307, 100832] 值随模型而变
print([tok.decode([i]) for i in ids]) # ['今天', '天气', '不错'](不加 return_tensors 时 input_ids 是 list;加了才是张量。)
实测:8 个字切成 3 个 token(这个词表把「今天」「天气」「不错」各当成一个整体)。同样的句子换成纯英文词表的模型,可能被切成十几个字节碎片。
这个例子最该注意的不是 id 是多少,而是它有几个。同一个意思,不同模型的 token 数能差好几倍——而 token 数是后面算费用的起点。
1.3 一张能看懂的表
上一节那句切出了 3 个 token。这一节换一句正好切成 4 个的,方便跟后面的手算表对齐:
ids = tok("我爱学习AI", return_tensors="pt").input_ids
print(ids.shape) # [1, 4]
print([tok.decode([i]) for i in ids[0]]) # ['我', '爱', '学习', 'AI']
emb = model.get_input_embeddings() # [词表条数, 隐藏维度]
vecs = emb(ids)
print(vecs.shape) # [1, 4, 896]1.2 那边不加
return_tensors是为了 print 好看的 list;这里要喂给模型,必须是张量,否则 embedding 层会报错。
四个词,每个词 896 个数。这张 4 × 896 的表,就是「我爱学习AI」进去之后模型看到的东西。但 896 维既没法看、也没法手算,所以下面把它压成 4 维:
| token | 维度1 | 维度2 | 维度3 | 维度4 |
|---|---|---|---|---|
| 我 | 1.0 | 0.0 | 0.2 | -0.1 |
| 爱 | 0.0 | 1.0 | 0.1 | 0.3 |
| 学习 | 1.0 | 1.0 | -0.4 | 0.2 |
| AI | 0.5 | 0.5 | 0.0 | 0.6 |
这张表是人为构造的示意值,不是模型真实输出的前 4 维。 真实的 896 维长什么样没人能读,取前 4 个也只是噪音。这里换成一组干净的数,是为了让后面几章都能真的算出来。
三点:
- 每一行是一个词的"初始印象",训练开始时是随机的,训练完才有意义;
- 维度之间没有直接的人类可读含义,不要试图解释"第 3 维代表情感";
- 相同词永远得到相同初始向量,位置不同靠后面第 5 章补。
1.4 维度为什么是几百上千
一句话概括:一个词要同时携带很多种属性(词性、语义类别、褒贬、常见搭配……),维度太少装不下。
| 维度 | 能装下 | 问题 |
|---|---|---|
| 4 | 教学演示 | 真实任务远远不够 |
| 64–128 | 小模型 | 语义细度有限 |
| 512–4096 | 常见规模 | 表达力与成本平衡 |
| 更大 | 大模型 | 参数与显存翻倍 |
这也解释了一个现象:同义词在向量空间里方向接近。第 2 章的注意力,就是靠"方向接近"来判断"该看谁一眼"。
1.5 位置与特殊标记
还有两样东西要在进去之前加上:
| 补充 | 作用 | 不加会怎样 |
|---|---|---|
| 位置信息 | 告诉模型"谁在前谁在后" | 「猫咬狗」和「狗咬猫」变成同一句话 |
| 特殊标记 | 句子开始/结束、角色分隔 | 模型不知道哪里停、哪句是谁说的 |
现代模型多用一个"起始标记"(BOS / <|begin|> 之类,具体符号随模型而定),结尾再放一个结束标记。对话场景还会额外插入角色分隔符——apply_chat_template 做的就是这件事。
位置信息不是"加在第 1 维",它的做法有好几种,第 5 章专门讲。这里只需要知道:自注意力本身对顺序不敏感,必须有人额外告诉它顺序。
1.6 你刚看到的是一次前向传播
最后这条回环,就是"生成":每出一个字,就把它接回去再走一遍。这门课后面所有内容,都是为了解释这条线上的一小段。
本章小结
| 要点 | 说明 |
|---|---|
| 三步 | tokenize 切片、查 id、取 embedding 行 |
| 切片 | 切法随词表而定,中文在英文词表上会被切碎 |
| 向量 | 一行数代表一个词,维度几百到几千 |
| 相似 | 语义接近的词方向接近,这是注意力的基础 |
| 补充 | 位置信息与特殊标记,缺一不可 |
| 循环 | 每生成一个字,就把整条线再走一遍 |
下一章
从这张 4×4 的表出发,手算一次注意力:谁该看谁、看多重、看完之后每个词变成什么样。