这个系列记录我读《从零构建大模型》的过程。规则不变:写下来的必须是我自己搞懂的,没懂的如实写“没懂”。本篇覆盖第三章到 3.4 节(带可训练权重的自注意力机制),学习时长约 3 小时,中间被 Kimi 老师出了五道验收题。
一、注意力到底在干什么
一句话:让每个 token 看完全场之后,重写一遍自己。
输入“床前明月光”,“床”这个 token 不应该只携带“床”自己的信息——它应该吸收了“前”“明”“月”“光”之后,变成一个知道自己在诗里、知道后面大概率接“前”的新“床”。
这个“吸收”的过程,我自己总结为一个词:编织。新向量 = 对所有 token 向量的加权和,权重就是“和我有多大关系”。
二、简化版三步走
不带任何权重矩阵的注意力,就三步:
- 点积:当前 token 和序列里每个 token(包括自己)算点积,得到一行分数。点积 = |a||b|cosθ——夹角是折扣率,方向一致原价(cos=1),垂直白送也不要,反向负分。但注意点积还混着“嗓门”(向量长度),不是纯夹角;
- softmax:把分数变成权重。softmax 就是把所有人塞进一个体积为 1 的房间,体积大的人占地盘大——但它保证权重和为 1,所以第三步是“信息的重新分配”,不是“信息的膨胀”;
- 编织:用权重对每个 token 的向量做加权和,得到新向量。向量就是信息的表示,加权和 = 求期望,新向量里装着全场的信息。
三、为什么要除以 sqrt(d_k)
这是本章的第一个硬骨头,我一开始也没想透。
完整的逻辑链是这样的:
- 点积是 d_k 个乘积的求和,项数越多,和的波动天然越大——统计上,点积的方差正比于 d_k,标准差正比于 sqrt(d_k);
- 也就是说,维度越高,分数的绝对值天然越大,softmax 的输入尺度被维度绑架了;
- softmax 这个函数,输入太大就饱和:一个权重趋近 1,其他全部趋近 0。语言里词和词的关系没有那么绝对——要给概率小的 token 留口气,而不是拍死;
- 更致命的是梯度:饱和区里 softmax 的导数趋近 0,反向传播流不过去,模型直接“停止学习”;
- 所以除以 sqrt(d_k),把标准差归一化回 1 附近,softmax 永远在中间敏感区工作,不管维度怎么变。
书里的代码只有一行:attn_scores / keys.shape[-1]**0.5——不硬编码维度,最后一维是几就除几。sqrt(d_k) 的本质是量纲归一:不是在调注意力,是在消除维度对分数尺度的污染。
四、三块矩阵:Q、K、V 到底多给了什么
简化版不用权重也能跑,但那个注意力是“死”的——谁和谁相关,全由词向量本身决定,模型没得学。而且点积对称(x·y = y·x),“床关注前”和“前关注床”必然一样大,语言里根本不是这么回事。
W_q、W_k、W_v 就是来解决这个的:
- 它们是投影,不是切分。token 的向量是信息的最小单元,不能掰开(掰开信息就丢了),但可以“换角度读”——同一个向量被三块矩阵各读一遍:W_q 读“我在找什么”,W_k 读“我有什么”,W_v 读“我能给什么”;
- Q、K 分开,注意力才有了方向。同一个 token,投成 Q 时是主语(我在找),投成 K 时是宾语(我被找),两块矩阵各学各的,q_a·k_b ≠ q_b·k_a;
- K、V 分开,“指路”和“送货”才解耦。K 决定“我被多少注意力找到”(打分),V 决定“我被找到后交出什么货”(内容)。介词是绝佳的路标但没什么货,实词低调但干货满满——打分和送货是两份工;
- Q+K+V ≠ 原 token。一个人的三个投影加起来,也不会是这个人本身。
还有一个容易记乱的账:W_q 的形状是 (d_in, d_out),Q = tokens @ W_q,出来的维度是 d_out,不是 d_in——投影的意义就是换维度。(nn.Linear 内部权重存成 (d_out, d_in),计算时它内部转置,两种摆放别混。)
五、梯度怎么流回三块矩阵
训练时三块 W 怎么更新?从 loss 倒着走一遍:
- 前向:W_q→Q、W_k→K 合成分数 → softmax → 权重 ⊗ V → context → 输出 → loss(每个位置都在预测下一个 token,loss 是所有位置的平均);
- 反向:链式法则沿原路倒着流,loss 的梯度分成两路——一路经权重、softmax、scores 流到 Q 和 K,算出 ∂loss/∂W_q 和 ∂loss/∂W_k;另一路流到 V,算出 ∂loss/∂W_v。torch 的
loss.backward()全自动; - 画面是这样的:前向流的是电流(激活值),反向流的是另一种电流(梯度),电阻(W)在原地被梯度一点点拧动。
这也解释了 sqrt(d_k) 为什么生死攸关:它保的不是数值好看,是梯度的生命线。
六、和 DeepSeek 的九问九答(精选)
学习过程中我和 DeepSeek 也过了一遍,挑几个有意思的:
Q:Q、K、V 是原始 token 的切分吗? 不是,是投影。向量在数学上能拆,但拆开就丢信息——token 是最小计算单元。
Q:投影维度必须和原维度一样吗? 不用。投影规模是可调参数,输入 768 维,投影后不一定是 768 维。
Q:W_q、W_k、W_v 是每个 token 各一份吗? 不是,全局共用一套。它们是模型级参数——不但一个序列内共用,所有句子都共用同一组“投影角度”。
Q:转置会不会打乱矩阵内部的关系? 不会。转置只是行列互换,现在的列是原来的行,数字之间的关系原封不动。
七、三问式收尾
- 今天学了什么:简化注意力三步走、sqrt(d_k) 的量纲归一、Q/K/V 三身份、梯度回流路径;
- 哪里还没懂:梯度路径还要再手推一遍才踏实;多头注意力还没读;
- 明天干什么:因果掩码(不许偷看未来)+ 多头注意力。
关于多头,我留了一个问题给自己:Q、K、V 真的够吗,投影会不会越多越好?——先剧透一下答案的方向:三个角色是信息交换的最小完备集,但“更多投影”会以另一种方式兑现。
去读多头就知道了。
这篇笔记由我和两个 AI 共同完成:DeepSeek 陪我过概念,Kimi 出验收题并负责格式。但每一个字的意思,都是我搞懂的。
评论