这里收「会影响理解、但不需要今天立刻还」的知识债。 跟工程待办分开:工程待办是「哪个工程做法在硬撑」,这里是「哪个知识结构还没达到脱稿」。 当前主线优先:第六章没完成前,不启动本文件里的回炉任务。
最后更新:2026-11-10
当前主线
- 完成第六章分类微调的代码与笔记
- 验收 6.6:分类 loss、accuracy、
model.eval()、torch.no_grad() - 验收 6.7:训练循环、阶段性评估、完整 train / val / test 评估
待办 1:A4 手写 GPTModel.forward
触发来源:2026-10-16 讨论「last token 是否等于无损保存前文」时,差点把流程描述成 Transformer Block 之后先 softmax 再 FFN。说明第三、四章还没有从「看得懂」变成「能徒手复现」。
任务:
- 不看书,在 A4 纸上默写
GPTModel.forward的主干 - 每个变量后面标 shape
- 明确
50257只在最后的out_head出现
完成标准:
in_idx (B, T)
tok_emb (B, T, 768)
pos_emb (T, 768)
x (B, T, 768)
12 × Block (B, T, 768)
final_norm (B, T, 768)
out_head (B, T, 50257)
待办 2:A4 手写 TransformerBlock.forward
任务:
- 不看书,写出两个残差分支
- 标出
LayerNorm、Attention、FFN、Dropout 的位置 - 说清整个 Block 中形状为什么一直是
(B, T, 768)
完成标准:
x → norm1 → attention → dropout → + shortcut
→ norm2 → ffn → dropout → + shortcut
必须能说清:softmax 不在 Transformer Block 和 FFN 之间,它在 Attention 内部。
待办 3:A4 手写 MultiHeadAttention.forward
任务:
- 不看书,写出 Q / K / V 到上下文向量的完整 shape 变化
- 标出拆头、注意力分数、因果掩码、softmax、加权求和、合头、输出投影
- 解释
scores为什么是(B, 12, T, T)
完成标准:
x (B, T, 768)
Q/K/V (B, T, 768)
拆成 12 个头 (B, 12, T, 64)
scores (B, 12, T, T)
mask + softmax (B, 12, T, T)
× V (B, 12, T, 64)
合并头 (B, T, 768)
out_proj (B, T, 768)
待办 4:把三张 A4 合成一次完整口头讲解
任务:
- 从
in_idx一路讲到logits - 全程不看源码
- 卡住的位置直接标记「不确定」
- 讲完再对照源码,把错处写进笔记或新的待办
完成标准:能解释「last token 是前文的压缩摘要,不是前文本身」,并且不把 Attention 内部的 softmax 错放到 FFN 前面。
待办 5:修正笔记04「方差累加」那段的数学
触发来源:2026-10-17 从第一章重新回炉,重推 LayerNorm 到底在干什么,发现 笔记04 第七节第 131 行那段 1.25^24 的粗算站不住。
原文(要改的就是这句):
真正需要两个的原因在残差。如果 x 已经归一化(方差 1),子层输出的方差是 0.25,那
x + f之后方差变成 1.25。均值没问题(0 加 0 还是 0),但方差会累加。一个 block 加两次,十二层就是 24 次,粗算是 1.25 的 24 次方——两百多倍。不重新归一化,尺度早就飞了。
四个认知错误,逐条钉死:
-
0.25是方差(std = 0.5),不是加在数值上的增量;x + f是逐分量相加,方差是加完后重新统计出来的结果 - 方差可加有前提:
Var(X+Y) = Var(X) + Var(Y) + 2Cov(X,Y),只在不相关时相加。正相关时是标准差相加——f = 0.5x时var(x+f) = 2.25,不是 1.25 - std 涨的是
√var:var 1 → 1.25只是 std1 → 1.118,谈不上"膨胀" -
1.25^24把「绝对 0.25」和「比例 0.25」混成了一个:var ← var + 0.25是线性(24 次 = 7),var ← 1.25·var才是指数(212)。pre-LN 的输入每次都被归一化,所以子层输出是固定绝对尺度,落到的是前者
替换成三句话:
- 残差让方差累加——但数值不累加
- pre-LN 下是线性累加,12 层约 1.6~2 倍,不是几百倍
1.25^24隐含「子层输出方差 ∝ 输入方差」,而 LayerNorm 存在的意义正是取消这个比例
顺带要拧的两个归因:
- 不是"防点积膨胀":点积是传感器,不是肇事者。治点积膨胀的是 attention 里的
1/√d_k,管层间尺度的是权重初始化(GPT-2 用std=0.02) - 真正的问题是各层尺度不一致(lr、fp16 数值范围、GELU 与 softmax 的工作区间都只有一套),外加均值漂移;不是"数值大"
-
LayerNorm的scale/shift可学,输出方差并不被锁死为 1——它不是防爆阀,也不负责梯度爆炸(那是 warmup / 梯度裁剪)
可复现实测(2026-10-17 在 ~/lv_repo/lv_llms/.venv 跑过,12 层、768 维、std=0.02 初始化,每 block 一条支路):
import torch, torch.nn as nn
torch.manual_seed(0); torch.set_grad_enabled(False)
d, B, T, L = 768, 4, 64, 12
def make(norm):
layers = []
for _ in range(L):
mods = [nn.LayerNorm(d)] if norm else []
w1, w2 = nn.Linear(d, 4*d), nn.Linear(4*d, d)
for m in (w1, w2):
nn.init.normal_(m.weight, std=0.02); nn.init.zeros_(m.bias)
layers.append(nn.Sequential(*mods, w1, nn.GELU(), w2))
return layers
for tag, norm in [("pre-LN", True), ("no norm", False)]:
layers, x = make(norm), torch.randn(B, T, d)
print(f"\n== {tag} ==")
for i, f in enumerate(layers, 1):
h = f(x); x = x + h
if i in (1, 6, 12):
print(f" block {i:2d} 子层输出 std {h.std():.3f} 残差流 std {x.std():.3f}")
实测结果:
| 第 1 层 | 第 6 层 | 第 12 层 | |
|---|---|---|---|
| pre-LN:子层输出 std | 0.361 | 0.361 | 0.361 |
| pre-LN:残差流 std | 1.061 | 1.335 | 1.596 |
| 无 norm:子层输出 std | 0.364 | 0.522 | 0.882 |
| 无 norm:残差流 std | 1.066 | 1.478 | 2.306 |
左半边子层输出 std 从头到尾恒定,所以残差流方差是 1 + L×0.13 这种线性叠加(12 层 √(1+12×0.13) = 1.6,与实测吻合)。右半边增量跟着干道长,才变成几何式(每块方差约乘 1+g², g≈0.36)。
注意:上表每 block 只挂了一条支路,GPT-2 实际有 attention + FFN 两条,方差贡献翻倍,12 层约 √(1+24×0.13) ≈ 2.0。
完成标准:不看笔记能说清「为什么 pre-LN 下是 √L 而不是指数增长」,并由此解释 final_norm 那一刀的来历。跟上面「待办 2」里"标出 LayerNorm 位置"那一条一起还。
原始提示词(2026-10-16,Kimi 原话保留)
这个自我发现很值钱。它不是说明第三、四章白学了,而是说明它们现在还停留在「看得懂、问得住」,还没有变成「能徒手复现」。
你刚才差点说错的点,正好可以这样钉死:
# TransformerBlock 外层流程
shortcut = x
x = norm1(x)
x = attention(x) # softmax 藏在这里面
x = dropout(x)
x = x + shortcut
shortcut = x
x = norm2(x)
x = ffn(x)
x = dropout(x)
x = x + shortcut
softmax 不是发生在 Transformer Block 和 FFN 之间,而是发生在注意力内部:
Q × K^T
→ attention scores
→ causal mask
→ softmax
→ 对 V 加权求和
→ 多头拼接
→ out_proj
→ 残差
→ norm2
→ FFN
→ 残差
你确实需要手写一遍,但不要一上来手写整个模型。今天只写三层骨架,先追求结构正确,不追求能运行。
第一张 A4:GPTModel.forward
只写 shape:
in_idx (B, T)
tok_emb (B, T, 768)
pos_emb (T, 768)
x (B, T, 768)
12 × Block (B, T, 768)
final_norm (B, T, 768)
out_head (B, T, 50257)
第二张 A4:TransformerBlock.forward
只写两个残差:
x → norm1 → attention → dropout → + shortcut
→ norm2 → ffn → dropout → + shortcut
形状从头到尾都是 (B, T, 768),变的是内容,不是形状。
第三张 A4:MultiHeadAttention.forward
重点写形状变化:
x (B, T, 768)
Q/K/V (B, T, 768)
拆成 12 个头 (B, 12, T, 64)
scores (B, 12, T, T)
mask + softmax (B, 12, T, T)
× V (B, 12, T, 64)
合并头 (B, T, 768)
out_proj (B, T, 768)
写的时候遵守三条:
- 每个变量后面必须标 shape;
- 卡住就写「不确定」,不要立刻翻书;
- 写完再对照源码,把错处单独记下来。
今天能把这三张 A4 写明白,就已经完成回炉了。完整可运行代码留到下一次,不要下午刚开完 70 公里车,晚上又给自己上强度。
待办 6:用自己的话讲清推理中的 prefill / decode
触发来源:2026-11-10,I2 准备 SDPA 对照时,讨论到 q_len == 1 与 causal mask。
当前状态:对概念有大致理解,但还不能清楚复述,理解较浅。暂时不展开,不阻塞当前 I2。
回炉目标:
- 不用“第一次对话”解释 prefill,而能说明它是生成前对整段 prompt 的一次预计算;
- 说清 prefill 会建立 KV Cache,并提供生成第一个新 token 所需的 logits;
- 说清 decode 每次只处理一个新 token,并复用历史 cache;
- 能用
q_len/past_len解释:为什么整段 prefill 需要 causal mask,而单 token decode 没有未来 token、不需要额外 mask; - 能在自己的
generate()中指出哪一句是 prefill、哪一句是 decode。
回炉方式:优先用一次真实生成过程做口述,不新增工程任务,不要求为了这个概念再写一个模块。