<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>LayerNorm on 吕炘嵘的博客</title>
    <link>https://blog.lvxinrong.com/tags/layernorm/</link>
    <description>Recent content in LayerNorm on 吕炘嵘的博客</description>
    <image>
      <title>吕炘嵘的博客</title>
      <url>https://blog.lvxinrong.com/og-default.jpg</url>
      
      <link>https://blog.lvxinrong.com/tags/layernorm/</link>
    </image>
    <generator>Hugo</generator>
    <language>zh-CN</language>
    <lastBuildDate>Sat, 10 Oct 2026 00:20:00 +0800</lastBuildDate>
    <atom:link href="https://blog.lvxinrong.com/tags/layernorm/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>手搓 LLM 笔记 04：把 GPT 拼起来</title>
      <link>https://blog.lvxinrong.com/llm/llm-04-gpt-architecture/</link>
      <pubDate>Sat, 10 Oct 2026 00:20:00 +0800</pubDate>
      <guid>https://blog.lvxinrong.com/llm/llm-04-gpt-architecture/</guid>
      <description>第四章收官。难点不在架构，在形状——同一个错误我犯了三次。drop 认错一次、softmax 当成归一化、ReLU 的问题记错一个。163M 参数跑通那天，模型说了第一段胡话。</description>
      <content:encoded><![CDATA[<blockquote>
<p>这个系列记录我读《从零构建大模型》的过程。规则不变：写下来的必须是我自己搞懂的，没懂的如实写“没懂”。这一章换了个学法——以前是我读代码、AI 答疑；这次我先把自己的理解讲一遍，让 DeepSeek 指错。</p>
</blockquote>
<h2 id="一这一章的难点不在架构在形状">一、这一章的难点不在架构，在形状</h2>
<p>翻完整章，大部分时间花在 shape 上——不是架构上。</p>
<p>同一个错误我犯了三次。</p>
<p>第一次是把 <code>tok + pos</code> 当成 (50257, 768)。第二次是把 <code>pos_emb(arange(T))</code> 算成 (1024, 768, 768)。第三次是把 <code>out_head(x)</code> 的输出当成 (50257, 768)。</p>
<p>三次的毛病一模一样：<strong>把“表的形状”当成了“输出的形状”。</strong></p>
<p>第二次犯的时候我说过一句话：“但是 tok + pos 矩阵在代码中的形状是 (50257, 768)”。被顶回来：如果真是这个形状，那 <code>tok_embeds + pos_embeds</code> 这一行当场就报错——右对齐之后 50257 和 4 既不相等，也没有一个是 1。</p>
<p><strong>代码能跑起来，就是答案。</strong></p>
<p>后来我给自己留了一句问法，比背规则管用：这个张量的数值从哪来？来自另一张表（weight），那是参数；来自前一层算出来的，那是激活值。</p>
<p>规则还是得记两条。<code>nn.Embedding(n, d)</code> 的参数是 (n, d)，输出是「输入形状 + (d,)」——那个 n 只决定合法索引范围，不进形状。<code>nn.Linear(in, out)</code> 的参数是 (out, in)，输出把最后一维从 in 换成 out。</p>
<p>（图书馆那个比喻把我钉住了：馆里有五万本书，不代表你借出五万本。）</p>
<p>顺手把整条 forward 走了一遍。<code>in_idx</code> 是 (B, T)，<code>tok_embeds</code> 变成 (B, T, 768)，<code>pos_embeds</code> 是 (T, 768)，相加之后还是 (B, T, 768)。然后是 dropout、十二层、最后归一化——<strong>形状一动不动</strong>。只有 <code>out_head</code> 把最后一维换成 50257。</p>
<p>九行代码，主干只变过两次形状。中间那十二层变的是内容，不是形状。这个认识后来很实用：换上一个真实实现就顺手跑一遍，形状没变就是接对了。</p>
<h2 id="二embedding我懂的只是查表这个词">二、Embedding：我懂的只是“查表”这个词</h2>
<p><code>(1024, 768, 768)</code> 那一下之后我才意识到，我懂的只是“查表”这个说法，没懂它和输出形状的关系。</p>
<p>查表不是乘法，这点我倒是没搞错。括号就是调用，底层是按行取数，<code>weight[idx]</code> 和 <code>emb(idx)</code> 等价，一次乘法都没有。真正的魔力在那张表的 3800 万个数字上，操作本身平凡得很。</p>
<p>“等价于 one-hot 矩阵乘”这个说法我以前当实现细节记住了。现在改了个更准的：one-hot 是 Embedding 的固定版。数学上确实一样——一个 1 去挑一行；但那张表是写死的、学不了的。差别不在数学形式，在<strong>可不可学</strong>。</p>
<h2 id="三广播我只会二维">三、广播：我只会二维</h2>
<p>二维广播我早懂，多维一直没想明白。我的原话是“我目前只能理解 2 维的广播，多维的就不行了”。</p>
<p>后来是被一个画面带过去的：<code>(B, H, T, T)</code> 就是 B×H 张 T×T 的表，摞成一叠。右对齐这个动作，本质上是把形状切成两段——右边重叠的那几维是“纸里长什么样”，左边多出来的维是“有几张纸”。</p>
<p>份数对不上就复印，纸里的形状才逐维判“相等或有 1”。所以 <code>(2,3,4) + (2,3,1)</code> 里，前面那个 2 根本不用想，剩下就是 <code>(3,4) + (3,1)</code>——我早就会的东西。</p>
<p>还有个更好用的招：拍扁。<code>(2,3,4)</code> 加 <code>(4,)</code>，等价于把前两维拍成 6 行、做一次二维广播、再拍回来。因为逐元素运算不跨位置，<code>reshape</code> 也不改数据顺序。</p>
<p>另外两条一起记下。一是<strong>只有 1 是通配符，0 不是</strong>：<code>(3,0)</code> 和 <code>(1,1)</code> 能广播出 <code>(3,0)</code>，<code>(3,0)</code> 和 <code>(1,4)</code> 直接报错。二是结果维不是“取 max”，是“取那个不是 1 的值”——长度为 0 的轴就是反例，<code>max(0,1) = 1</code> 是错的。</p>
<h2 id="四位置编码位置就是一个数为什么表要-768-列">四、位置编码：位置就是一个数，为什么表要 768 列</h2>
<p>行数我懂：<code>context_length</code> 就是位置表能表示多少个位置。这也是“上下文长度”这个词的真实含义——超过就索引越界。</p>
<p>列数我卡住了。位置就是一个数（0、1、2……），表不该是 <code>(1024,)</code> 吗？</p>
<p>堵死这条路的是 LayerNorm。假设位置只贡献一个标量，也就是给那个位置的 768 个通道加同一个数——那 LayerNorm 减均值的时候会把它原样减掉。而 TransformerBlock 的第一件事就是 LayerNorm，所以这个信号进第一层就没了，等于没加。</p>
<p>这个推导本身很直接：<code>mean(x + s) = mean(x) + s</code>，所以 <code>(x+s) − mean(x+s)</code> 里 s 直接消掉。</p>
<p><strong>位置向量必须在通道维上有差异，才能活着穿过 LayerNorm。</strong></p>
<p>顺带解开一个我一直觉得别扭的问题：位置 0 在不同句子里内容完全不一样，<code>pos_emb[0]</code> 到底在学什么？答案是它学的是所有样本在那一位置上的共同分量——个别 token 带来的噪声在平均里互相抵消了。</p>
<p>我记的比喻是座位和坐的人。<code>tok_emb</code> 是坐的人，今天张三明天李四；<code>pos_emb</code> 是第一排靠窗这个座位，换谁坐，属性不变。</p>
<h2 id="五两个叫-drop-的地方我认错了一个">五、两个叫 drop 的地方，我认错了一个</h2>
<p><code>drop_emb</code> 我第一眼就认成了因果掩码，原话是“这行其实就是在做因果掩码的步骤”。</p>
<p>被顶回来才想起：掩码在 <code>MultiHeadAttention</code> 里面，作用在 (T,T) 的分数矩阵上，是固定的右上三角、softmax 之前塞负无穷；<code>drop_emb</code> 是 Dropout，逐元素随机置零、只有训练时才生效。两件事唯一的共同点，是名字里都带个“遮”的意思。</p>
<p><code>drop_shortcut</code> 这个我没认错。名字里带 shortcut，我反而觉得不对劲，去问了一句“不是快捷连接吧，感觉是第三章那个把元素置零的操作”。确认下来它确实是 Dropout，站在残差支路上（GPT-2 原生代码里叫 <code>resid_dropout</code>）。真正的快捷连接是 <code>shortcut = x</code> 和 <code>x = x + shortcut</code> 那两行——名字里的 shortcut 说的是<strong>位置</strong>，不是身份。</p>
<p>这么来回两次之后，我把书里的命名规律记成“动作 + 位置”的格式：<code>drop_emb</code> 是对 embedding 输出做 drop，<code>drop_shortcut</code> 是对残差支路做 drop。动作才是本质，前缀只是主语。</p>
<p>还有一处顺序值得单独记：<strong>dropout 必须在相加之前</strong>。</p>
<p>这里有个名字上的误会要先拆掉。<code>drop_shortcut</code> 丢的<strong>不是</strong> shortcut，它丢的是<strong>支路输出</strong>（<code>norm1 → att</code> 那段的结果）；名字里的 shortcut 只标位置——它站在残差这条路上。</p>
<p>所以先 <code>drop_shortcut(x)</code> 再 <code>x = x + shortcut</code>，被置零的只有支路，干道（<code>shortcut</code> 里那份原始 x）一个元素都不会动。</p>
<p>反过来写就麻烦了。问题在于<strong>相加之后，“主干”这个身份就没了</strong>：<code>x = x + shortcut</code> 一执行，支路和干道已经合成同一个张量，再也分不开。此时 dropout 打上去，等于把干道也一起打了洞，而且分不清哪个洞打在谁身上。</p>
<p>用三个数看一眼。干道是 <code>[1.0, 2.0, 3.0]</code>，支路输出是 <code>[0.5, 0.5, 0.5]</code>，假设第 1 位被置零：正确顺序得到 <code>[1.56, 2.0, 3.56]</code>，干道那个 <code>2.0</code> 完好；错误顺序先把两者加成 <code>[1.5, 2.5, 3.5]</code>，再 drop 就成了 <code>[1.67, 0, 3.89]</code>——<strong>干道贡献的那 <code>2.0</code> 跟着一起没了</strong>。（<code>0.56</code> 是保留项乘过 <code>1/(1-p)</code> 之后的值。）</p>
<p>残差的意义是“让原始 x 原封不动地传下去”，所以那个 <code>2.0</code> 必须活着。梯度上是同一回事：<code>y = x + f(x)</code> 对 x 求导是 <code>1 + f'(x)</code>，那个 1 就是梯度的高速公路；写成 <code>y = drop(x + f(x))</code>，导数里就多出一个随机的 0 掩码。</p>
<p>顺带问了一句：如果 forward 里干脆不调用 <code>drop_shortcut</code> 会怎样？答案是形状不变，<code>eval</code> 下完全没影响（推理时它本来就是恒等的），只有训练时少一层正则化，症状是训练 loss 更低、验证 loss 更高。所以判断标准永远是验证集。</p>
<h2 id="六softmax-不是归一化">六、softmax 不是归一化</h2>
<p>我的原话是：“归一化不是 softmax 就可以了么，为啥这里要增加一个 LayerNorm 对象来做这个事情。”</p>
<p>问题出在“归一化”这三个字上——中文里它至少指四件事，我把它们当成了一件。softmax 让加起来等于 1；min-max 缩到 0 到 1；标准化和 LayerNorm 让均值 0、方差 1。<strong>softmax 归的是“和”，LayerNorm 归的是“中心和宽度”。两个正交的约束，谁也替不了谁。</strong></p>
<p>真正说明问题的是幂等性。把 <code>[1, 2, 3]</code> 反复 softmax：第一次得到 <code>[0.09, 0.24, 0.67]</code>，第二次 <code>[0.25, 0.30, 0.45]</code>，到第四次基本就是 <code>[1/3, 1/3, 1/3]</code> 了。每套一遍就更平一点，最后信息死光。而 LayerNorm 套第二遍几乎不动，因为输出已经达标。</p>
<p>所以 LayerNorm 能在十二层里出现 25 次，softmax 只能出现一次——而且那一次还在模型外面。<code>GPTModel.forward</code> 里根本没有 softmax，它返回的是原始分数。</p>
<p>还有一条我原来没往这儿想：<strong>softmax 和残差不兼容</strong>。残差要求修改量和 x 同尺度、还得有正有负，才能表达“把某个特征调低”；softmax 的输出全为正、总和恒为 1，加回主干等于只能往上加，总量还固定。</p>
<h2 id="七两个-layernorm不是冗余是残差逼出来的">七、两个 LayerNorm：不是冗余，是残差逼出来的</h2>
<p>残差连接我原来理解得含糊，自己捋了一遍才想通：<strong>它把“替换”变成了“累加”。</strong></p>
<p>没有快捷连接的时候，下一层的输入就是上一层的输出——<code>x₁ = f₁(x₀)</code>、<code>x₂ = f₂(x₁)</code>，旧值被覆盖掉了。加上快捷连接之后变成 <code>x₁ = x₀ + f₁(x₀)</code>、<code>x₂ = x₁ + f₂(x₁)</code>，上一层不再被覆盖，而是留下来再追加一点。</p>
<p>展开就一目了然：<code>x₃ = x₀ + f₁(x₀) + f₂(x₁) + f₃(x₂)</code>。<strong>原始的 x₀ 一直在里面</strong>，每一层只是往总和里追加一个增量。所以 x 不是被“参考”了一下，是真的留下了。</p>
<p>要精确一点：追加的不是 x 的一部分，是由 x 算出来的新东西。同一个 x 走了两条路——一条原样传下去当原件，一条经 norm 和 att 变成修改意见，最后原件加修改意见。</p>
<p>不过这个“保留”是加法意义上的。<code>y = x + f(x)</code> 里 x 的分量确实原样进了 y，但没法再从 y 里把 x 单独取出来，两者已经加在一起了。前向意义上 x 保留了，分离意义上它已经和 f(x) 不可分——这也正是前面“dropout 必须在相加之前”那条的来历：dropout 看到的是合并后的张量，它没能力区分哪个数是谁带来的。</p>
<p>（为什么“加”比“替换”强，顺手记两条：<code>y = x + f(x)</code> 对 x 求导是 <code>1 + f'(x)</code>，那个 1 是梯度的高速公路；另外如果 f 学到输出接近 0，<code>y ≈ x</code> 就成立——恒等映射是个平凡解，所以“深”至少不会比“浅”更差。）</p>
<p>我一开始觉得一个 block 一个 LayerNorm 就够了，还给 LayerNorm 列了两个“目的”，其中一个是幂等。</p>
<p>那个地方我列错了：<strong>幂等是性质，不是目的</strong>。目的是把子层的输入拉回标准尺度；幂等只是保证“反复归一化”这件事本身安全——要是它像 softmax 那样越套越平，25 次调用早把信号衰减没了。</p>
<p>真正需要两个的原因在残差。如果 x 已经归一化（方差 1），子层输出的方差是 0.25，那 <code>x + f</code> 之后方差变成 1.25。均值没问题（0 加 0 还是 0），<strong>但方差会累加</strong>。一个 block 加两次，十二层就是 24 次，粗算是 1.25 的 24 次方——两百多倍。不重新归一化，尺度早就飞了。</p>
<p>还有一处值得单独记：<code>shortcut</code> 存的是归一化<strong>之前</strong>的 x。归一化只作用在送进子层的那条支路上，残差干道从头到尾都是原始的。</p>
<p>这一条同时解释了 <code>final_norm</code>。每个 block 的出口都是没归一化的残差和，十二层堆完 x 还是漂移的，所以最后得补一刀。LayerNorm 的总数是 25 而不是 24，就是这个“1”的来历。</p>
<h2 id="八ffn我以为就是两次矩阵乘">八、FFN：我以为就是两次矩阵乘</h2>
<p>看完 <code>FeedForward</code> 的代码，我第一反应是“就这？”。768 升到 3072，过个 GELU，再降回 768。我当时说的话是：“看起来像是 <code>(768, 4*768) @ (4*768, 768)</code> 的操作。”</p>
<p>它确实就是两次矩阵乘。但 GELU 夹在中间，让它彻底不再是矩阵乘链。</p>
<p>如果没有 GELU，两层线性可以直接乘起来合成一个矩阵——(768, 3072) 乘 (3072, 768) 得到 (768, 768)，一个普通的单层线性。参数量对比：两层加起来 4,718,592，等价的单层只要 589,824。<strong>八倍参数，换来一个用八分之一参数就能表达的映射。</strong> 所以扩张本身不产生表达力，“扩张 + 非线性”才产生。</p>
<p>那 3072 到底买到了什么，我手里有两个说法。</p>
<p>一个是几何的：每个中间神经元相当于在 768 维空间里划一刀，输入只有 768 维，但你有 3072 把刀去切它——能区分的模式数量由中间宽度决定，不由输入宽度决定。</p>
<p>另一个是“键值记忆”：有篇论文发现 FFN 近似于一个记忆库，<code>W1</code> 的每一行是一个 key，GELU 负责稀疏化，<code>W2</code> 的对应列是 value。3072 个神经元就是 3072 个槽位。旁证是后面有研究靠改 FFN 权重来改模型“知道”的事实，改注意力层没这个效果。</p>
<p>这个视角我是接受了，不是验证了。下面挂账。</p>
<p>4 倍是经验值不是定律：原始 Transformer 和 GPT-2 都是 4 倍，Llama 换成 <code>8/3 × d_model</code>，因为它用了 SwiGLU，要三个矩阵。</p>
<p>顺带一笔账：每层里 FFN 的参数是注意力的两倍（4.72M 对 2.36M）。所以“Transformer 的主角是注意力”这个印象，在参数占比上是不成立的。</p>
<h2 id="九gelurelu-的两个问题我记错了一个">九、GELU：ReLU 的两个问题，我记错了一个</h2>
<p>我先讲了自己的理解：ReLU 有两个毛病，负数全是 0，还有 0 点不可导。</p>
<p>第二个被否了——连续分布下输入恰好等于 0 的概率是零，框架还用次梯度兜底，这不是真问题。</p>
<p>真问题在第一个，而且比我说的严重：不是“负数是 0”，是<strong>整个负半轴的梯度恒等于 0</strong>。半条数轴上全是 0，输入长期落在左边的那批神经元就永久死了。放在 FFN 里，死一个就是浪费一个记忆槽位。</p>
<p>GELU 的导数在负半轴不是一刀切：<code>x = 0</code> 处是 0.5，<code>x = -0.25</code> 处是 0.30，<code>x = -0.5</code> 处是 0.13，到 <code>x = -0.75</code> 掉到 0.0008，再往左就翻负号了。而 ReLU 在这整段上全是 0。</p>
<p>三件事。<code>GELU′(0) = 0.5</code>，光滑，没有折角；−0.75 到 0 这段负区间里梯度是正的、而且不小——这才是“负数也参与学习”的准确意思；但过了 −0.75 梯度变号、绝对值一路衰减到 0。</p>
<p>所以它没解决梯度消失，只是把硬截止换成了软衰减。</p>
<h2 id="十163m124m和一段胡话">十、163M、124M，和一段胡话</h2>
<p>模型第一次跑通，打出来两个数。</p>
<p>参数量是 163,009,536，拆得干干净净：<code>tok_emb</code> 38,597,376，<code>pos_emb</code> 786,432，十二层 TransformerBlock 一共 85,026,816，<code>final_norm</code> 1,536，<code>out_head</code> 38,597,376。</p>
<p>但 GPT-2 论文说的是 124M，差 38.6M，正好是 <code>out_head</code> 那一块。书上后面会讲：GPT-2 做了权重绑定，<code>out_head</code> 和 <code>tok_emb</code> 共享同一份内存。163,009,536 减掉 38,597,376 就是 124,412,160。两个 embedding 加起来占了总量的 47%，这就是绑定能省下那么多参数的原因。</p>
<p>然后是生成。输入 <code>Hello, I am</code>，出来的是：</p>
<blockquote>
<p>Hello, I am Featureiman Byeswickattribute argue</p>
</blockquote>
<p>这是对的，不是 bug。参数全是随机数，模型根本没训过，整条链路就是随机查表、随机变换、随机打分、argmax 挑一个。</p>
<p>有个细节容易理解偏：输出看起来像英文单词，不是模型懂英语，是<strong>词表里大部分 token 本身就是英文片段</strong>。argmax 在五万个候选里随便挑，挑到的恰好长得像词。</p>
<p>这段留作第五章的对照——同一份代码、同一个 prompt，只有参数不同。</p>
<h2 id="十一如实记录我还没通的地方">十一、如实记录：我还没通的地方</h2>
<ol>
<li>笔记 03 留的那份回炉考卷，我没做。手推多头全链路这件事还欠着，这一章读完，账没还；</li>
<li>FFN 的键值记忆视角我是接受了，不是验证了。没自己动手看过 <code>W1</code> 的行到底长什么样；</li>
<li>整条前向还是不能脱稿。每个 shape 都能看懂，但还不能从空白纸写出来；</li>
<li>广播的多维情形现在有画面了，但还不到能秒推的程度，四维以上还是得画一下。</li>
</ol>
<h2 id="十二三问式收尾">十二、三问式收尾</h2>
<ol>
<li><strong>今天学了什么</strong>：形状（两条规则 + 三次踩坑）、Embedding 是查表不是乘法、广播里那个 1 代表共享、位置向量必须和 emb_dim 一样宽才能穿过 LayerNorm、softmax 不是归一化、两个 LayerNorm 是残差逼出来的、FFN 升维必须配 GELU、GELU 是软衰减、163M 和 124M 的差；</li>
<li><strong>哪里还没懂</strong>：多头注意力的元素级推导、键值记忆没亲手验证、前向不能脱稿、四维广播还得画；</li>
<li><strong>明天干什么</strong>：第五章，预训练。第一次让 loss 真的下降。</li>
</ol>
<hr>
<p><em>这一章的方法换了：先把理解讲一遍，再让 DeepSeek 挑错——上面几处认错都是这么露出来的。第三章那份回炉考卷还欠着，等第五章跑完预训练，回头一起还。</em></p>
]]></content:encoded>
    </item>
  </channel>
</rss>
