Skip to content

第 1 章:一句话进来,先变成数 ​

模型不会认字。它认的是一串整数,以及每个整数对应的一行小数。这一章就先把它认字的方式看一遍,再拆后面。


学习目标 ​

  • 亲手跑一个 5 亿参数级(0.5B)的小模型,看到"输入文字、输出文字"
  • 说清 tokenize → id → embedding 这三步各做了什么
  • 用一张 4×4 的手算表,建立"每个词是一行数"的直觉
  • 知道"位置信息"和"特殊标记"这两个不起眼但必需的补充

1.1 先让它说话 ​

在拆之前,先看它活着的样子。下面这段代码会下载一个小模型并在本地跑:

python
# pip install torch transformers
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

name = "Qwen/Qwen2.5-0.5B-Instruct"       # 5 亿参数级,约 1 GB,CPU 也能跑
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name)

messages = [{"role": "user", "content": "用一句话解释什么是注意力。"}]
ids = tok.apply_chat_template(
    messages, return_tensors="pt", add_generation_prompt=True
)["input_ids"]                             # 新版返回字典,要取出 input_ids

out = model.generate(ids, max_new_tokens=40, do_sample=False)
print(tok.decode(out[0][ids.shape[1]:], skip_special_tokens=True))

实测输出(0.5B 的模型,效果有限,但能看出它确实在答题):

text
在计算机视觉和自然语言处理领域,注意力机制是一种用于处理大量特征信息的方法,
通过将每个样本的输入映射到一个特定的维度来提高模型对复杂任务的理解能力

会输出一句语义还算通顺的话。这一步的意义不是"我调通了 API"(那个在 Lv2 就做过),而是:你现在手里有一个可以随时拆开看的对象。后面每一章拆的,都是这同一次前向传播里的一小块。

两个实测过的坑:① apply_chat_template 在 transformers 5.x 默认返回字典(含 input_ids 与 attention_mask),直接当张量用会报 AttributeError,要取 ["input_ids"];② 别用纯英文小模型(如 SmolLM)跑中文——它的词表基本没有中文,一句话会被切成几十个字节碎片,输出也是一段不相干的英文。上面这段在 transformers 5.23 + torch 2.15 CPU 上跑通。

显存不足就把 max_new_tokens 调小;CPU 也能跑,只是慢一些。


1.2 三步:切、查、变向量 ​

同一句话的三种形态① 原文今天天气不错② tokenize 切成片段今天 / 天气 / 不错③ 查表得 id三个整数(随词表而定)④ 每 id 一行数3 行 × d 维关键点:切法不是"一个字一个 token"常见子词切法(BPE 一类)会把高频组合并成一个 token:「天气」是一个,「不错」也是一个切法取决于词表:中文词表模型切得省,英文词表模型会把汉字拆成字节碎片——这直接影响第 8 章的费用词表大小固定(常见是几万到十几万条)。词表之外的字,会被拆成更小的碎片,甚至落到"未知"上。tokenize 得到的 id 只是行号;真正承载语义的,是下一步那张 embedding 表里对应的一行数。embedding 表的大小 = 词表条数 × 向量维度,它是模型里最容易被低估的一块参数。
python
ids = tok("今天天气不错").input_ids
print(ids)                                    # [100644, 104307, 100832] 值随模型而变
print([tok.decode([i]) for i in ids])         # ['今天', '天气', '不错']

(不加 return_tensors 时 input_ids 是 list;加了才是张量。)

实测:8 个字切成 3 个 token(这个词表把「今天」「天气」「不错」各当成一个整体)。同样的句子换成纯英文词表的模型,可能被切成十几个字节碎片。

这个例子最该注意的不是 id 是多少,而是它有几个。同一个意思,不同模型的 token 数能差好几倍——而 token 数是后面算费用的起点。


1.3 一张能看懂的表 ​

上一节那句切出了 3 个 token。这一节换一句正好切成 4 个的,方便跟后面的手算表对齐:

python
ids = tok("我爱学习AI", return_tensors="pt").input_ids
print(ids.shape)                             # [1, 4]
print([tok.decode([i]) for i in ids[0]])     # ['我', '爱', '学习', 'AI']

emb = model.get_input_embeddings()           # [词表条数, 隐藏维度]
vecs = emb(ids)
print(vecs.shape)                            # [1, 4, 896]

1.2 那边不加 return_tensors 是为了 print 好看的 list;这里要喂给模型,必须是张量,否则 embedding 层会报错。

四个词,每个词 896 个数。这张 4 × 896 的表,就是「我爱学习AI」进去之后模型看到的东西。但 896 维既没法看、也没法手算,所以下面把它压成 4 维:

token维度1维度2维度3维度4
我1.00.00.2-0.1
爱0.01.00.10.3
学习1.01.0-0.40.2
AI0.50.50.00.6

这张表是人为构造的示意值,不是模型真实输出的前 4 维。 真实的 896 维长什么样没人能读,取前 4 个也只是噪音。这里换成一组干净的数,是为了让后面几章都能真的算出来。

三点:

  1. 每一行是一个词的"初始印象",训练开始时是随机的,训练完才有意义;
  2. 维度之间没有直接的人类可读含义,不要试图解释"第 3 维代表情感";
  3. 相同词永远得到相同初始向量,位置不同靠后面第 5 章补。

1.4 维度为什么是几百上千 ​

一句话概括:一个词要同时携带很多种属性(词性、语义类别、褒贬、常见搭配……),维度太少装不下。

维度能装下问题
4教学演示真实任务远远不够
64–128小模型语义细度有限
512–4096常见规模表达力与成本平衡
更大大模型参数与显存翻倍

这也解释了一个现象:同义词在向量空间里方向接近。第 2 章的注意力,就是靠"方向接近"来判断"该看谁一眼"。


1.5 位置与特殊标记 ​

还有两样东西要在进去之前加上:

补充作用不加会怎样
位置信息告诉模型"谁在前谁在后"「猫咬狗」和「狗咬猫」变成同一句话
特殊标记句子开始/结束、角色分隔模型不知道哪里停、哪句是谁说的

现代模型多用一个"起始标记"(BOS / <|begin|> 之类,具体符号随模型而定),结尾再放一个结束标记。对话场景还会额外插入角色分隔符——apply_chat_template 做的就是这件事。

位置信息不是"加在第 1 维",它的做法有好几种,第 5 章专门讲。这里只需要知道:自注意力本身对顺序不敏感,必须有人额外告诉它顺序。


1.6 你刚看到的是一次前向传播 ​

本课八章,拆的就是这条线文本tokenize→ idembedding+ 位置N 个 Transformer Block注意力(第 2–5 章)· 残差与前馈(第 6 章)输出层 → logits→ 采样出下一个 token(第 7 章)一次前向传播 = 走完这条线一次生成长回答,就是把它重复几十上百次:每次把新字接在末尾,再走一遍第 7 章的「KV 缓存」就是为了不重复算前面那些已经算过的部分——那条线走得越多次越费。第 8 章把这条线上的参数量与显存算出来,你会看到为什么"上下文变长"会直接变成账单。从这一章往后,每一章都只放大这条线上的一个格子。不要同时想全部。

最后这条回环,就是"生成":每出一个字,就把它接回去再走一遍。这门课后面所有内容,都是为了解释这条线上的一小段。


本章小结 ​

要点说明
三步tokenize 切片、查 id、取 embedding 行
切片切法随词表而定,中文在英文词表上会被切碎
向量一行数代表一个词,维度几百到几千
相似语义接近的词方向接近,这是注意力的基础
补充位置信息与特殊标记,缺一不可
循环每生成一个字,就把整条线再走一遍

下一章 ​

从这张 4×4 的表出发,手算一次注意力:谁该看谁、看多重、看完之后每个词变成什么样。

本文阅读--次|全站访问--次|访客--人