<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>重写 on 吕炘嵘的博客</title>
    <link>https://blog.lvxinrong.com/tags/%E9%87%8D%E5%86%99/</link>
    <description>Recent content in 重写 on 吕炘嵘的博客</description>
    <image>
      <title>吕炘嵘的博客</title>
      <url>https://blog.lvxinrong.com/og-default.jpg</url>
      
      <link>https://blog.lvxinrong.com/tags/%E9%87%8D%E5%86%99/</link>
    </image>
    <generator>Hugo</generator>
    <language>zh-CN</language>
    <lastBuildDate>Mon, 26 Oct 2026 12:00:00 +0800</lastBuildDate>
    <atom:link href="https://blog.lvxinrong.com/tags/%E9%87%8D%E5%86%99/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>手搓 LLM 笔记 08：重写 lvllm，按工程结构再串一遍</title>
      <link>https://blog.lvxinrong.com/llm/llm-08-rewrite-lvllm/</link>
      <pubDate>Mon, 26 Oct 2026 12:00:00 +0800</pubDate>
      <guid>https://blog.lvxinrong.com/llm/llm-08-rewrite-lvllm/</guid>
      <description>终极回炉：不按章节收拢，按工程结构重写全书代码。data 三任务、train 分工、LoRA 接线、eval 评委链，最后用 23.6 vs 23.9 的回归收官。</description>
      <content:encoded><![CDATA[<blockquote>
<p>施工图是 <a href="https://blog.lvxinrong.com/nanochat/lvchat-roadmap/">lvchat 实现导图</a> 的 M0。10 月 20 日立项，10 月 26 日回归通过，本篇为收官正文。原始踩坑记录保留在文末「素材积累」。</p>
</blockquote>
<h2 id="为什么重写">为什么重写</h2>
<p>书读完的时候，我手里有一整个仓库的代码，但它们是按章节长的：ch03 一份、ch05 一份、ch07 一份，互相复制，配置散落，device 满天飞。能跑，但不是工程。</p>
<p>更关键的问题：这些代码是“跟着书写出来的”，合上书，我能不能按自己的结构重新组织一遍？这就是 M0 的由来——<strong>不按章节收拢，按工程结构重写</strong>。目标不是拥有一个新的仓库，是拥有“能写出这个仓库”的能力。</p>
<p>新仓库叫 squid-llms。军规两条：能手写就手写，AI 只当导航；每一处偏离书的设计，都要说得出理由。</p>
<h2 id="最后的结构">最后的结构</h2>
<pre tabindex="0"><code>src/squid/
├── config.py        # 单一配置入口
├── device.py        # 单一 device 入口
├── tokenizer/       # SquidTokenizer 协议 + tiktoken 实现
├── model/           # layers / gpt / lora
├── data/            # pretrain / classify / instruct + common
├── train/           # common / pretrain / classify / sft
├── generate/        # 纯 id 引擎 + 文本壳
├── eval/            # 批量生成 + DeepSeek 评委
└── checkpoints/     # 进口 / 自用 / 附加 三层
</code></pre><p>两个“单一入口”是最先定的：配置和 device 只有一个出处。后面所有层都不许自己造词表知识、自己判断设备——比如 pad_id 一律从 <code>tokenizer.eos_id</code> 进，不许写死 50256（GPT-2 ≠ Qwen，07-2 已经踩过）。</p>
<h2 id="data按任务分不按格式分">data：按任务分，不按格式分</h2>
<p>三种任务的数据组织方式根本不同，所以分三个文件：</p>
<ul>
<li><strong>pretrain</strong>：定长滑窗。<code>input = ids[i:i+max_len]</code>，<code>target = ids[i+1:i+max_len+1]</code>，+1 偏移在 dataset 里做完，默认 collate 直接 stack。stride 是“窗口每次滑动的步长”不是窗口大小，取 max_length 一半就是 50% 重叠，抗上下文割裂。</li>
<li><strong>classify</strong>：变长文本 + 类别标签。pad 到 <strong>batch 内最长</strong>，所以 pad 必须在 collate——dataset 阶段看不到邻居，不知道要补多长。书里是补到全集最长，一条离群长文会让所有短文本陪着补，这里有意改掉了。</li>
<li><strong>instruct</strong>：最重的一条流水线，五步手术：</li>
</ul>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="n">full</span> <span class="o">=</span> <span class="n">prompt_ids</span> <span class="o">+</span> <span class="n">response_ids</span> <span class="o">+</span> <span class="p">[</span><span class="n">eos_id</span><span class="p">]</span>   <span class="c1"># 1. 追加 EOS</span>
</span></span><span class="line"><span class="cl"><span class="n">padded</span> <span class="o">=</span> <span class="n">pad_to_length</span><span class="p">(</span><span class="n">full</span><span class="p">,</span> <span class="n">max_len</span><span class="p">,</span> <span class="n">eos_id</span><span class="p">)</span> <span class="c1"># 2. pad 到 batch 最长</span>
</span></span><span class="line"><span class="cl"><span class="n">inputs</span>  <span class="o">=</span> <span class="n">padded</span><span class="p">[:</span><span class="o">-</span><span class="mi">1</span><span class="p">]</span>                         <span class="c1"># 3. +1 错位</span>
</span></span><span class="line"><span class="cl"><span class="n">targets</span> <span class="o">=</span> <span class="n">padded</span><span class="p">[</span><span class="mi">1</span><span class="p">:]</span><span class="o">.</span><span class="n">clone</span><span class="p">()</span>                  <span class="c1">#    （clone：切片是视图）</span>
</span></span><span class="line"><span class="cl"><span class="n">targets</span><span class="p">[:</span><span class="nb">len</span><span class="p">(</span><span class="n">prompt_ids</span><span class="p">)</span> <span class="o">-</span> <span class="mi">1</span><span class="p">]</span> <span class="o">=</span> <span class="o">-</span><span class="mi">100</span>          <span class="c1"># 4. prompt 位不计分</span>
</span></span><span class="line"><span class="cl"><span class="n">targets</span><span class="p">[</span><span class="n">eos_pos</span><span class="p">[</span><span class="mi">1</span><span class="p">:]]</span> <span class="o">=</span> <span class="o">-</span><span class="mi">100</span>                   <span class="c1"># 5. 除第一个 EOS 外全遮</span>
</span></span></code></pre></div><p>掩码要分两笔账记：<strong>pad 掩码是卫生</strong>（不做就污染 loss），<strong>prompt 掩码是战术</strong>（只做指令跟随时用）。一句话版：prompt 是考场，response 是答卷，遮盖是“不计分”，不是“拆考场”——模型始终看得到完整 prompt，只是不为它的预测打分。</p>
<p>还有三个对齐可以当口诀：<strong>pad 对齐形状，+1 对齐时间，-100 对齐计分范围。</strong></p>
<h2 id="traincommon-提供能力循环决定节奏">train：common 提供能力，循环决定节奏</h2>
<p>三个训练循环 80% 相同，所以公共件沉到 common（loss 三件套、评估、LR 调度），任务文件只留差异。</p>
<p>最大的一个认知点是 <code>cross_entropy</code> 的契约：logits <code>(N, C)</code>、targets <code>(N,)</code>，<strong>N 是预测点个数</strong>。pretrain/SFT 每个位置都预测，N=B×T，所以要 <code>logits.flatten(0, 1)</code>；classify 只在最后一个位置预测，<code>logits[:, -1, :]</code> 出来就是 (B, C)，天然对齐，不需要 flatten。所以 classify 有自己的 <code>calc_loss_batch</code>，同名不同身，各放各家，不搞参数开关。</p>
<p>第二条是<strong>函数自足</strong>：<code>calc_loss_loader</code> 自己包 <code>no_grad</code>，不依赖调用方记得规矩（Java 直觉的胜利）。但反过来，训练用的 <code>calc_loss_batch</code> 绝不能包 no_grad——我包过一次，backward 直接没有梯度可回传。</p>
<p>第三条是 <strong>prepare 归调用前，循环归循环</strong>。换分类头、冻结、包 LoRA 都是训练前的模型手术，训练循环闭着眼跑，给它什么模型它训什么。</p>
<p><code>lr_at_step</code> 抽成纯函数的理由只有两个字：<strong>可测</strong>。warmup 公式出过一次 bug（多乘了 total_steps），抽出来之后三个锚点断言（起点 initial_lr、warmup 顶点 peak_lr、终点 min_lr）三秒钟验尸。如果不写测试，抽它就没有意义。</p>
<h2 id="lora手术合并存档">LoRA：手术、合并、存档</h2>
<p>给模型换 LoRA 层的递归手术有个必须记住的招式：<strong><code>named_modules</code> 用来遍历，<code>named_children</code> 用来手术</strong>。替换要拿“爹”的句柄才能 <code>setattr</code>，而 named_modules 会 yield 模块自身，拿它递归就是原地套娃——我用 RecursionError 实测过。</p>
<p>另外两条硬规矩：</p>
<ul>
<li>forward 和 merge 的缩放必须同一把尺：都是 <code>α/r</code>（论文原版）。书里只用 α，换 rank 时两种写法的强度差一个 1/r，对比实验时别混。</li>
<li>生命周期：<strong>训练并联省显存，部署 merge 省计算</strong>。<code>merged_weight()</code> 把 ΔW 折回主权重，之后保存的就是普通 GPT 的 state_dict，加载方不需要知道 LoRA 存在过。存档因此有两条路线：adapter 小而专用（保留继续训练的灵活），merged 大而通用（部署零开销）。</li>
</ul>
<h2 id="eval生成和打分分开烧">eval：生成和打分分开烧</h2>
<p><code>generate/</code> 是生成能力，<code>eval/generate.py</code> 是测试集传送带：格式化 prompt（与训练同模板）→ 调 generate_text → 裁掉 prompt → 落盘 json。<code>eval/judge.py</code> 拿这个 json 去请 DeepSeek 打分。拆开的原因很实际：生成烧 GPU，打分烧 API 额度，两边失败重跑的成本完全不同。</p>
<p>judge 这边几个工程决定：API key 走 <code>.env</code> / 环境变量（不进 git）；有 score 的条目跳过，断点续跑不重复烧额度；每 10 条落盘一次；统计（均值、分位、直方图）抽成独立函数。</p>
<h2 id="回归236-vs-239">回归：23.6 vs 23.9</h2>
<p>M0 的收官动作：拿旧仓库训练好的 LoRA 权重（355M，rank=16 alpha=16，4 epoch 那版），squid 负责加载、生成、打分，和旧仓库同权重基线对比。同权重是为了隔离变量——差异只剩管线本身。</p>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th></th>
        <th>squid 回归</th>
        <th>旧仓库基线</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td>均分</td>
        <td><strong>23.6</strong></td>
        <td>23.9</td>
      </tr>
      <tr>
        <td>0 分条数</td>
        <td>73</td>
        <td>70</td>
      </tr>
      <tr>
        <td>81-100 分条数</td>
        <td>18</td>
        <td>19</td>
      </tr>
    </tbody>
  </table>
</div>
<p>均分差 0.3，分布形态一致，在评委噪声范围内。加上 13 个单元测试全绿，M0 验收通过。</p>
<p>另一个好用的 sanity check 记在这：<strong>初始 loss ≈ ln(vocab_size)</strong>。50257 词表随机猜的 baseline 是 10.83，训练起点贴着它才正常，之后掉得动才说明学习是真的。</p>
<h2 id="这一遍重写我练到的是什么">这一遍重写，我练到的是什么</h2>
<p>代码只是产出之一，更重要的是三条工作法：</p>
<ol>
<li><strong>手写优先，AI 当导航。</strong> AI 五分钟能写完整个仓库，但那是 AI 写的。collate 那几个坑（list 思维切 tensor、视图污染、BPE 接缝），只有亲手踩过才算学分。纯机械的搬运可以交给 AI，概念密集的地方必须手写。</li>
<li><strong>验收标准是“每行能讲清楚”，不是“脱稿默写”。</strong> 看懂和写出之间隔着正常的鸿沟，读是再认，写是回忆。第二遍学习，读流畅、写磕绊就是这个阶段的样子。</li>
<li><strong>错处入笔记。</strong> 每天的翻车现场当天记进素材库（见文末），写正文的时候全成了弹药。</li>
</ol>
<p>下一步是 M1：自己训一个 BPE tokenizer，不调用 tiktoken，配套读 diy-llm 第 2 章。作品线和理论线从这里开始双轨并行。</p>
<h2 id="素材积累原始记录">素材积累（原始记录）</h2>
<p><strong>Day 1（10-20）</strong>：</p>
<ul>
<li>MHA 重写：骨架对、细节丢四个（多头拆解、√d_k、logits/权重命名、out_proj）；抓到两个致命 bug（<code>foward</code> 拼写、mask 切片错写成 <code>[:T, T:]</code>，正确是 <code>[:T, :T]</code>）</li>
<li>「张量的第一维永远是 batch」幻觉拔除——generate 的一维切法 bug 全源于此</li>
<li>LayerNorm vs BatchNorm：「BatchNorm 统计别人，LayerNorm 只管自己」</li>
<li>pre-norm 的「干净通道」：残差主干恒等直通，warmup 与 pre-norm 是同一问题的两代武器</li>
<li>checkpoints 三层设计：gpt2.py（进口）/ store.py（自用）/ lora.py（附加）；键名映射吸收旧格式</li>
<li>LoRA merge 验收的双重计数坑：merge 是搬家不是复制</li>
<li>竖切终点：355M 权重加载，squid 第一次开口</li>
</ul>
<p><strong>Day 2（10-23）</strong>：</p>
<ul>
<li>data 层按任务分不按格式分：pretrain（定长滑窗，dataset 内偏移）/ classify（collate 补 batch 内最长）/ instruct（掩码五连）</li>
<li>collate 职责钉死：「定长的活 dataset 干，变长的活 collate 干，pad 永远在偏移前面」</li>
<li>instruct collate 五步手术：追加 EOS → pad → +1 错位 → prompt 位 -100 → 除第一个 EOS 外全 -100</li>
<li>掩码两笔账：pad 掩码是卫生（必做），prompt 掩码是战术（看目标）；「prompt 是考场，response 是答卷，遮盖是不计分不是拆考场」</li>
<li>pad_id 不许写死 50256：词表知识只从 tokenizer.eos_id 一个口进（GPT-2 ≠ Qwen，07-2 的前科）</li>
<li>list 思维切 tensor 三坑：tensor 没有 .index、切片是视图要 clone、标量广播代替 list 赋值</li>
<li>cross_entropy 契约 (N,C)+(N,)：N=预测点数。pretrain 要 flatten（N=B×T），classify 取 last-token 天然对齐（N=B）——同名不同身，各放各家</li>
<li>函数自足原则：no_grad 内收进 calc_loss_loader，不依赖调用方记得规矩（Java 直觉的胜利）；但训练用 loss 函数绝不能包 no_grad</li>
<li>训练层分工：common 提供能力，循环决定节奏；prepare（模型手术）归调用前，循环闭着眼跑</li>
<li>lr_at_step 抽纯函数的意义 = 可测性：给出过 bug 的 warmup 公式配三锚点断言当验尸官</li>
<li>named_modules 遍历、named_children 手术：替换要拿爹的句柄；named_modules 会 yield 自身，递归即套娃（RecursionError 实锤）</li>
<li>LoRA：α/r 缩放 forward 与 merge 必须同尺；merged_weight 生命周期 = 训练并联省显存 → 部署 merge 省计算；存档两路线（adapter 小而专用 / merged 大而通用）</li>
<li>sanity check：初始 loss ≈ ln(vocab_size)，一眼辨训练真假</li>
<li>stride 语义钉死：窗口滑动的步长，不是窗口大小；stride=max_length/2 → 50% 重叠抗上下文割裂</li>
<li>Kimi 翻车帧：出考题忘了等长样本没有 pad 路径；「我的时间来自对话时间戳，不是真的钟」</li>
</ul>
]]></content:encoded>
    </item>
  </channel>
</rss>
