<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>交叉熵 on 吕炘嵘的博客</title>
    <link>https://blog.lvxinrong.com/tags/%E4%BA%A4%E5%8F%89%E7%86%B5/</link>
    <description>Recent content in 交叉熵 on 吕炘嵘的博客</description>
    <image>
      <title>吕炘嵘的博客</title>
      <url>https://blog.lvxinrong.com/og-default.jpg</url>
      
      <link>https://blog.lvxinrong.com/tags/%E4%BA%A4%E5%8F%89%E7%86%B5/</link>
    </image>
    <generator>Hugo</generator>
    <language>zh-CN</language>
    <lastBuildDate>Thu, 15 Oct 2026 17:50:00 +0800</lastBuildDate>
    <atom:link href="https://blog.lvxinrong.com/tags/%E4%BA%A4%E5%8F%89%E7%86%B5/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>手搓 LLM 笔记 05：预训练、损失函数与生成</title>
      <link>https://blog.lvxinrong.com/llm/llm-05-pretrain-generate/</link>
      <pubDate>Thu, 15 Oct 2026 17:50:00 +0800</pubDate>
      <guid>https://blog.lvxinrong.com/llm/llm-05-pretrain-generate/</guid>
      <description>第五章学了两遍：第一遍照抄，第二遍回炉。交叉熵、max 减法、过拟合、温度采样、GPT-2 权重加载，以及 generate 全链路的 shape 变化。</description>
      <content:encoded><![CDATA[<blockquote>
<p>第五章是这本书到目前为止概念密度最高的一章：预训练、损失函数、训练循环、过拟合、解码策略、加载 GPT-2 权重。第一遍我学得很虚——手比脑快，一路照抄。离职后的回炉日，我用「考试 + A4 纸手写」把它重学了一遍。这篇笔记记的是第二遍的理解，以及第一遍踩过的坑。</p>
</blockquote>
<h2 id="一训练到底在优化什么512-张考卷">一、训练到底在优化什么：512 张考卷</h2>
<p>输入是 <code>[a, b, c]</code>，target 是 <code>[b, c, d]</code>——错位一位，每个位置的 target 恰好是 input 同一位置的下一个 token。这就是 next-token 预测落到代码里的样子。</p>
<p>关键在数量级：一个 <code>(2, 256)</code> 的 batch，2 条序列 × 256 个位置 = <strong>512 个独立的预测任务</strong>。<code>logits.flatten(0, 1)</code> 就是把这 512 张考卷摊平，一次 cross entropy 全判完。</p>
<p>这也解释了训练和推理的根本区别：</p>
<ul>
<li><strong>训练</strong>：一次前向，512 个位置并行判分，所有位置的输出全都要（所以输出形状是 <code>(B, T, 50257)</code>）</li>
<li><strong>推理</strong>：一个 token 一个 token 往外蹦，只需要最后一个位置的输出（<code>logits[:, -1, :]</code>）——因为前面位置的「答案」早就在输入里了，只有最后一个位置在预测真正未知的词</li>
</ul>
<p>训练能并行的前提，是第三章的因果掩码：<strong>没有掩码，这 512 道题就全漏题了</strong>。掩码不只是「防止偷看」，它是让并行训练合法化的前提。</p>
<h2 id="二交叉熵不是差值是正确答案的-log-概率取负">二、交叉熵：不是「差值」，是「正确答案的 log 概率取负」</h2>
<p>我以前学机器学习，损失函数就是「预测值 − 目标值」。这个直觉在 LLM 里错了两次才拔掉：</p>
<p>logits 是 <code>(6, 50257)</code> 的矩阵，targets 是 <code>(6,)</code> 的 id 列表——<strong>矩阵怎么减一个 id？</strong> 根本没法减。真实的计算链是：</p>
<ol>
<li>对每一行做 log_softmax（带 max 减法，后面讲）</li>
<li>用 target 的 id 做花式索引，取出<strong>正确 token 对应的 log 概率</strong></li>
<li>取负、求平均 → 标量 loss</li>
</ol>
<p>所以 loss 的准确说法是「模型给正确答案分配的概率，取 log 取负再求平均」。概率越大 → log p 越接近 0 → loss 越小。<strong>「最小化 loss」和「最大化正确答案的概率」是同一件事。</strong> 取负也不是数学必需，只是约定：全世界的优化器都按「最小化」设计，取负把「让 log p 上升」翻译成「让 loss 下降」。</p>
<h3 id="为什么-argmax-不能进-loss">为什么 argmax 不能进 loss</h3>
<p>两个原因，缺一不可：</p>
<ol>
<li><strong>不可导</strong>。argmax 是阶跃操作，输入变一点，输出要么不变要么突变，导数几乎处处为 0。梯度流到它就断了，后面所有权重收不到任何更新信号。</li>
<li><strong>丢失「距离」信息</strong>。正确答案概率 49%（排第二）和 0.001%（排一万名），对 argmax 来说都是「猜错」，loss 一模一样。但前者明明只差一口气——<strong>argmax 把「离正确答案有多近」这个最关键的信息扔掉了</strong>。cross entropy 用概率本身，模型每一点微小进步，loss 都看得见。</li>
</ol>
<p>一句话：argmax 是推理时的选择器，不是训练时的指南针。</p>
<h3 id="花式索引每道题只取自己的分">花式索引：每道题只取自己的分</h3>
<p><code>probas[text_idx, [0, 1, 2], targets[text_idx]]</code>，probas 形状 <code>(2, 3, 50257)</code>。这句在做什么：<strong>取第一个序列三个位置、各自对应的正确 token 的概率，共 3 个值</strong>。</p>
<p><img alt="A4 手写：calc_loss_batch 与各张量的 shape" loading="lazy" src="https://blog.lvxinrong.com/llm/llm-05-a4-calc-loss-batch.jpg"></p>
<p><em>A4 手写稿：calc_loss_batch。inputs 那行一开始写成了 (2, 3, 50257)，正确应为 (2, 3)——id 进，分布出。</em></p>
<h2 id="三max-减法数学上不变工程上救命">三、max 减法：数学上不变，工程上救命</h2>
<p><code>log_softmax</code> 不直接算 <code>log(exp(z_i) / Σexp(z_j))</code>，而是先给所有 logits 减去行内最大值。</p>
<p><strong>为什么结果不变？</strong> <code>e^(z-c) = e^z × e^(-c)</code>，分子分母各提出一个 <code>e^(-c)</code>，约掉。选谁当 c 都行，选 max 只是效果最好。</p>
<p><strong>为什么必须减？</strong> float32 上限约 3.4×10³⁸，而 <code>e^100 ≈ 2.7×10⁴³</code>——装不下，直接溢出成 inf，后面全变 NaN。</p>
<p><strong>减完之后的世界</strong>：行内所有值 ≤ 0，最大项恰好为 0。于是 <code>exp(0) = 1</code> 封住上限，其他项全在 (0, 1]；分母至少是 1（最大项贡献了一个 1），log(分母) 永远不会碰到 log(0)。<strong>上溢下溢，一起消失。</strong></p>
<h2 id="四过拟合我的第一根训练曲线">四、过拟合：我的第一根训练曲线</h2>
<p>第一次训练《The Verdict》（全文才 5145 个 token），10 个 epoch 下来：train loss 一路降到 0.391，val loss 第 2 轮触底后回升到 6.452。教科书级的过拟合现场：模型不是在学语言，是在背课文。early stopping 就该停在第 2 轮附近。</p>
<p>两个防过拟合的旋钮，机制完全不同：</p>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th></th>
        <th>dropout</th>
        <th>weight decay</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td>动手对象</td>
        <td>激活值（前向传播时）</td>
        <td>权重本身（参数更新时）</td>
      </tr>
      <tr>
        <td>手法</td>
        <td>随机砍神经元，制造「残缺」</td>
        <td>给大权重的解加「惩罚」</td>
      </tr>
      <tr>
        <td>公式</td>
        <td>保留的激活值 × 1/(1-p)，期望不变</td>
        <td><code>w = w - lr×梯度 - (w × lr × wd)</code></td>
      </tr>
    </tbody>
  </table>
</div>
<p>weight decay 我一开始错写成「减一个固定值」，纠正三次才懂：它是<strong>比例税不是人头税</strong>——合并成 <code>(1 - lr × wd) × w</code> 看得最清楚：<strong>每一步先把所有权重打个 0.99996 的折，再走正常的梯度下降</strong>。大权重被拽得狠，小权重几乎不动。权重小 = 函数平滑 = 想背课文都背不利索。</p>
<h3 id="困惑度ppl把-loss-翻译成人话">困惑度（PPL）：把 loss 翻译成人话</h3>
<p><code>PPL = e^loss</code>，含义是「模型预测下一个词时，平均在多少个候选之间犹豫」：</p>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th>模型状态</th>
        <th>loss</th>
        <th>PPL</th>
        <th>含义</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td>随机权重</td>
        <td>10.76</td>
        <td>~47,000</td>
        <td>ln(50257) ≈ 10.82，在整个词表里纯蒙</td>
      </tr>
      <tr>
        <td>训 10 轮（train）</td>
        <td>0.391</td>
        <td><strong>1.48</strong></td>
        <td>背过的课文里只在 1.5 个词之间犹豫</td>
      </tr>
      <tr>
        <td>训 10 轮（val）</td>
        <td>6.452</td>
        <td><strong>~635</strong></td>
        <td>没见过的文本上，还要在 635 个词里蒙</td>
      </tr>
    </tbody>
  </table>
</div>
<p>背到 PPL 1.48，泛化只有 PPL 635——过拟合用困惑度表达，就是这么赤裸。</p>
<h2 id="五生成策略argmax-死循环与抽奖箱">五、生成策略：argmax 死循环与抽奖箱</h2>
<p>第一版 <code>generate_text_simple</code> 用 argmax，第 1 轮训练后生成的是 <code>and, and, and, and...</code> 死循环。三环机制：</p>
<ol>
<li><strong>确定性</strong>：同一个前文，argmax 永远选同一个词</li>
<li><strong>自回归反馈</strong>：选出的词拼回上下文，输出变成输入</li>
<li><strong>自我强化</strong>：「and and and」进上下文后，模型更倾向于继续「and」——每一次重复都在给下一次重复投票</li>
</ol>
<p>改进版流水线：<code>logits → top_k 过滤 → 温度缩放 → softmax → multinomial 抽样</code>。</p>
<ul>
<li><strong>top_k 的本质：给采样划一个靠谱的候选池</strong>——next-token 不是唯一解，而是一个分布。全词表任意组合早就失去了句子的连贯性，top_k 把范围框在「都说得通」的前 k 名里：k=1 等价 argmax，k=50257 等于没筛。<strong>连贯和多样不是对立的，top_k 就是那个平衡点</strong>。手法是用第 k 名的分数当门槛，低于门槛的全部打成 -inf（和因果掩码同一手法，目的不同）</li>
<li><strong>温度除的是 logits，不是概率</strong>。T &lt; 1 = 放大差距 = 尖锐（T→0 退化成 argmax）；T &gt; 1 = 压缩差距 = 均衡（T→∞ 退化成均匀分布）。<strong>温度只改赔率，本身完全确定，没有随机性</strong>。和 top_k 的区别：温度调「池子里各候选的胜率」，top_k 定「池子的大小」</li>
<li><strong>multinomial 才是随机性进来的地方</strong>：按概率分布真实抽样。跑 1000 次，88% 的词大约出现 880 次——分布是赔率，抽样是开奖</li>
<li><strong>光调温度救不了 argmax</strong>：z/T 是单调变换，不改变谁最大。温度只有在采样时才起作用</li>
</ul>
<p>实测手感：同一个 GPT-2 权重、同一个 prompt，temperature=1.5 时模型开始胡说「3:50 method」这种不存在的东西；调低就通顺。<strong>多样性和靠谱度是一根滑杆的两端。</strong></p>
<h2 id="六加载-gpt-2-权重权重是序列化对象架构是类定义">六、加载 GPT-2 权重：权重是序列化对象，架构是类定义</h2>
<p>能加载 GPT-2 权重，是因为我的 GPTModel 严格按 GPT-2 的「类定义」写的：12 层、768 维、LayerNorm、学习式位置嵌入、GELU、12 头。<strong>权重文件只对同一个架构有效</strong>——字段名、顺序、shape，差一个都对不上。DeepSeek / Qwen 是另一套类定义（RMSNorm、RoPE、SwiGLU、GQA/MoE），直接灌必炸。</p>
<p>加载代码里的考点：</p>
<ul>
<li><code>attn.c_attn</code> 把 Q、K、V 存在一个融合矩阵里，<code>np.split(..., 3, axis=-1)</code> 切成三份——能合并的矩阵就合并，一次 GEMM 算完</li>
<li><strong>每个 weight 后面的 <code>.T</code></strong>：GPT-2 原版是 TensorFlow，存 <code>(输入维, 输出维)</code>；PyTorch 的 <code>nn.Linear</code> 存 <code>(输出维, 输入维)</code>。两家存储协议相反，灌之前必须转置</li>
<li><code>ff.layers[0]</code> 和 <code>ff.layers[2]</code>：中间的 layers[1] 是 GELU，没有参数</li>
<li><strong><code>qkv_bias</code> 要改成 True</strong>：GPT-2 原版有偏置，配置不改连 bias 属性都不存在</li>
<li><strong><code>context_length</code> 要改回 1024</strong>：我训练时图快用 256，但权重的 wpe 是 (1024, 768)，对不上就是 shape mismatch</li>
</ul>
<h3 id="最后一行藏着-124m-的秘密">最后一行藏着 124M 的秘密</h3>
<p><code>gpt.out_head.weight = assign(gpt.out_head.weight, params[&quot;wte&quot;])</code>——输出层和词嵌入表<strong>共享同一张表</strong>。输入时按 id 查行（确定性索引），输出时拿隐状态和 50257 行逐个算点积（相似度打分）：<strong>正向当字典用，反向当标尺用，词的含义只需要学一份</strong>。这就是 weight tying。如果 out_head 独立，要多出 50257 × 768 = 38,609,408 个参数——我的模型数出来 163M、论文写 124M，差的就是这一份。</p>
<h3 id="同一个骨架三个灵魂">同一个骨架，三个灵魂</h3>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th>权重来源</th>
        <th>输入 <code>Every effort moves you</code> 之后</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td>随机初始化</td>
        <td>乱码：<code>and, and, and...</code></td>
      </tr>
      <tr>
        <td>自己训 10 轮</td>
        <td>王尔德文风的英文，但只会背《The Verdict》</td>
      </tr>
      <tr>
        <td>GPT-2 预训练权重</td>
        <td>通顺、开放、有泛化能力的语言</td>
      </tr>
    </tbody>
  </table>
</div>
<p><strong>架构决定能力的上限，权重决定能力的成色，数据决定灵魂的形状。</strong></p>
<h2 id="七generate-的-shape-全链路">七、generate 的 shape 全链路</h2>
<p>这是我今天收获最大的一张图。设定 B=1、prompt 3 个 token、V=50257、top_k=50：</p>
<pre tabindex="0"><code>idx: (1, 3)
  │ ① 截窗口 idx[:, -1024:]：序列还不长，(1, 3) 不动（防御性步骤）
  ▼
前向 model(idx_cond)：(1, 3) → (1, 3, 50257)，每个位置都有 50257 个分数
  │ ② 取最后一个位置 logits[:, -1, :]：(1, 3, 50257) → (1, 50257)
  │    整数索引，T 这一维直接被抽掉，不是 (1, 1, 50257)！
  ▼
③ top_k：top_logits, _ = topk(logits, k=50) → (1, 50)，降序
   min_val = top_logits[:, -1] → (1,)，第 50 名的分数当门槛
   torch.where(logits &lt; min_val, -inf, logits) → (1, 50257) 形状不变
   ⚠ 门槛值必须用新变量接！覆盖原 logits 就把完整名单弄丢了
  ▼
④ 温度 / softmax：形状不变，50 个位置概率 &gt; 0，其余为 0，总和为 1
  ▼
⑤ multinomial(probas, num_samples=1)：(1, 50257) → (1, 1)
   （argmax 殊途同归：softmax 单调，取 logits 还是 probas 结果一样）
  ▼
⑥ cat((idx, idx_next), dim=1)：(1, 3) + (1, 1) → (1, 4)，回 ① 进入下一轮
</code></pre><p><strong>整个 generate，形状真正变化的只有三处</strong>：前向升维（加 V）、取末位降维（去 T）、拼接长维（T+1）。其余操作全是「形状不动，内容在变」。</p>
<p>治「dim 总乱」的药方就一句：<strong>写 dim 之前先报一遍每一维的含义</strong>（B=第几条序列、T=第几个位置、V=词表）。softmax/argmax 在词之间比大小 → <code>dim=-1</code>；cat 接在序列后面 → <code>dim=1</code>。dim 不是背的，是推出来的。</p>
<p><img alt="A4 手写：generate 全流程" loading="lazy" src="https://blog.lvxinrong.com/llm/llm-05-a4-generate.jpg"></p>
<p><em>A4 手写稿：generate 全流程。纸上抓出三个实质 bug：topk 覆盖原名单、切片少冒号、<code>=</code> 与 <code>==</code>。</em></p>
<h2 id="八device-教训modeltodevice-只搬模型不搬数据">八、device 教训：model.to(device) 只搬模型，不搬数据</h2>
<p>在 MPS 上踩了两次同一族错误，规律钉死：</p>
<blockquote>
<p><strong>每一个后出生的张量，都要自己 <code>.to(device)</code> 报到。</strong></p>
</blockquote>
<p><code>model.to(device)</code> 只搬权重。<code>text_to_token_ids</code> 里 <code>torch.tensor(encoded)</code> 出生在 CPU，没人接它去 MPS，就会报 <code>Passed CPU tensor to MPS op</code>。排查顺序：顺着 traceback 找到最上层自己的代码 → 往前追输入张量的出生地 → 有没有送去 device。</p>
<hr>
<blockquote>
<p>第五章完。第六章：分类微调。</p>
</blockquote>
]]></content:encoded>
    </item>
  </channel>
</rss>
