<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>实验 on 吕炘嵘的博客</title>
    <link>https://blog.lvxinrong.com/tags/%E5%AE%9E%E9%AA%8C/</link>
    <description>Recent content in 实验 on 吕炘嵘的博客</description>
    <image>
      <title>吕炘嵘的博客</title>
      <url>https://blog.lvxinrong.com/og-default.jpg</url>
      
      <link>https://blog.lvxinrong.com/tags/%E5%AE%9E%E9%AA%8C/</link>
    </image>
    <generator>Hugo</generator>
    <language>zh-CN</language>
    <lastBuildDate>Tue, 20 Oct 2026 16:30:00 +0800</lastBuildDate>
    <atom:link href="https://blog.lvxinrong.com/tags/%E5%AE%9E%E9%AA%8C/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>手搓 LLM 笔记 07-3：LoRA 剂量实验——从没训练的 32 分到平台期判决</title>
      <link>https://blog.lvxinrong.com/llm/llm-07-3-lora-dose/</link>
      <pubDate>Tue, 20 Oct 2026 16:30:00 +0800</pubDate>
      <guid>https://blog.lvxinrong.com/llm/llm-07-3-lora-dose/</guid>
      <description>附录 D+E 联合作战：在 355M 上手写 LoRA。一份没训练就拿到 32 分的假结果、一条 warmup 平方的 bug、四轮剂量扫描、一次平台期判决，和最后 merge 验收时抓到的双重计数。</description>
      <content:encoded><![CDATA[<blockquote>
<p>目标本来是「把手写 LoRA 跑通」，结果跑成了一整天的实验课：先被一份没训练的假结果骗了，再扫出完整的剂量曲线，最后在 merge 验收里抓到双重计数。系列规则不变：写下来的必须是我自己搞懂的，翻车的地方如实写。</p>
</blockquote>
<h2 id="一假-lora-事件没训练也能拿-32-分">一、假 LoRA 事件：没训练也能拿 32 分</h2>
<p>我先交代流水线：<code>ch07_5.py</code> 训练 → <code>ch07_7.py</code> 生成测试回答 → <code>generate_model_scores.py</code> 用 DeepSeek 打分。</p>
<p>我在 07 里加了 <code>replace_linear_with_lora</code>，跑出 32.3 分，和全参数的 33.5 几乎一样，当时还挺高兴：「LoRA 用 1/150 的参数打平全参数」。</p>
<p>Kimi 翻了代码之后发现：<strong>07 里根本没有训练循环</strong>——加载 checkpoint、冻结、包 LoRA、直接生成评估。而 LoRA 的 B 矩阵是零初始化，adapter 对模型行为的贡献严格为零。所以 32.3 就是原来那个 33.5 的模型穿了件马甲。</p>
<p><strong>三组分数一模一样，不是因为 LoRA 打平了全参数，是因为那一组实验压根没发生。</strong></p>
<p>这条教训钉死：<strong>结果完美符合「无差异」时，先怀疑实验是否真的发生了</strong>。仪器没坏，是实验没做。</p>
<h2 id="二顺带曝光的两个-bug">二、顺带曝光的两个 bug</h2>
<p><strong>1. warmup_steps 被平方了。</strong></p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="n">warmup_steps</span> <span class="o">=</span> <span class="nb">int</span><span class="p">(</span><span class="mf">0.2</span> <span class="o">*</span> <span class="n">total_steps</span> <span class="o">*</span> <span class="n">total_steps</span><span class="p">)</span>  <span class="c1"># 错</span>
</span></span><span class="line"><span class="cl"><span class="n">warmup_steps</span> <span class="o">=</span> <span class="nb">int</span><span class="p">(</span><span class="mf">0.2</span> <span class="o">*</span> <span class="n">total_steps</span><span class="p">)</span>                <span class="c1"># 对</span>
</span></span></code></pre></div><p>warmup 步数变成天文数字，整个训练一直活在 warmup 里，cosine 衰减从未生效。所以之前那组「调度三件套在短跑里无效」的结论作废——那不是一次有效的调度实验，是一次「全程低 lr」实验。</p>
<p><strong>2. 基线 checkpoint 被覆盖。</strong></p>
<p>原始 SFT 权重和后续实验共用同一个路径 <code>gpt2_355M_instruct.pth</code>，基线被后续运行覆盖。教训：checkpoint 命名必须带语义，只增不删。</p>
<h2 id="三真lora-首轮5e-5-的欠训判决">三、真·LoRA 首轮：5e-5 的欠训判决</h2>
<p>把 LoRA 接进 05 的训练路径（<code>replace_linear_with_lora</code> 在 optimizer 之前；optimizer 只接 <code>requires_grad</code> 的参数）：</p>
<pre tabindex="0"><code>Total trainable parameters before: 406,286,336
Total trainable parameters after:    7,898,384   ← 1.9%
</code></pre><p>峰值 lr 5e-5、2 epoch 的结果：</p>
<ul>
<li>val loss 停在 0.935（全参数 0.62）</li>
<li>评委打分 <strong>14.1，84 个 0 分</strong>（全参数 33.5 / 58 个）</li>
<li>样例把原句复读一遍——格式学了半个，变换没学会</li>
</ul>
<p>判决：欠训。LoRA 的可训练参数少、梯度信号稀疏，lr 惯例要比全参数大 1~2 个数量级，5e-5 太温柔。</p>
<h2 id="四剂量曲线四轮扫描">四、剂量曲线：四轮扫描</h2>
<p>一次只改一个变量，同评委、同 110 条测试集：</p>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th>配置</th>
        <th>均分</th>
        <th>0 分</th>
        <th>val loss</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td>LoRA 5e-5, 2ep</td>
        <td>14.1</td>
        <td>84</td>
        <td>0.935</td>
      </tr>
      <tr>
        <td>LoRA 1e-4, 2ep</td>
        <td>16.4</td>
        <td>79</td>
        <td>0.866</td>
      </tr>
      <tr>
        <td>LoRA 2e-4, 2ep</td>
        <td>21.9</td>
        <td>72</td>
        <td>0.811</td>
      </tr>
      <tr>
        <td>LoRA 2e-4, 4ep</td>
        <td>23.9</td>
        <td>70</td>
        <td>0.739（已走平）</td>
      </tr>
      <tr>
        <td>全参数, 2ep</td>
        <td><strong>33.5</strong></td>
        <td><strong>58</strong></td>
        <td><strong>0.62</strong></td>
      </tr>
    </tbody>
  </table>
</div>
<p>每一步都有效，但收益递减（+2.3 → +5.5 → +2.0），val loss 在 0.74 走平。继续推 rank 或 epoch 还能挤几分，改变不了格局。</p>
<p>插曲：第一轮 4 epoch 跑完发现 <code>num_epochs</code> 忘了改，白跑一次。实验纪律加一条：改完配置先确认再跑。这种重复劳动就是 sweep runner（配置表驱动、自动 train/generate/score）存在的理由，已记入工程债。</p>
<h2 id="五平台期判决结局-b">五、平台期判决：结局 B</h2>
<p>开跑之前 Kimi 预告了两种结局：A 是 LoRA 追平全参数，B 是 LoRA 的平台期低于全参数。数据落在 B。</p>
<p>这不是 LoRA 的失败，是定位澄清：<strong>LoRA 的价值是「让不可能变可能」，不是「让小局变更优」。</strong> 355M 全参数本来就训得动，LoRA 没有非赢不可的理由；Qwen 实验里它打过真正的仗——1.5B 模型全参数训练在 12G 显存里塞不下优化器状态，LoRA 是唯一能开工的方式。</p>
<p>另一个量化感受：LoRA 训练 2.2 分钟，全参数 2.75 分钟，只快 20%。冻结只是不更新，前向反向照样穿过全部权重——<strong>LoRA 省的是显存，不是计算</strong>。</p>
<h2 id="六merge-验收先抓双重计数再证数学等价">六、merge 验收：先抓双重计数，再证数学等价</h2>
<p>最后一关：把训练好的 ΔW 折叠回 W，验证「并联小路」和「权重更新」严格等价。</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="n">module</span><span class="o">.</span><span class="n">linear</span><span class="o">.</span><span class="n">weight</span> <span class="o">+=</span> <span class="p">(</span><span class="n">alpha</span> <span class="o">/</span> <span class="n">rank</span><span class="p">)</span> <span class="o">*</span> <span class="p">(</span><span class="n">A</span> <span class="o">@</span> <span class="n">B</span><span class="p">)</span><span class="o">.</span><span class="n">T</span>
</span></span></code></pre></div><p>第一跑：<strong>最大差异 32.6</strong>。原因：合并后 LoRA 路径还开着，<code>linear(x) + lora(x)</code> 把 ΔW 算了两遍。merge 是搬家不是复制——搬完必须给旧路径断电：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="n">module</span><span class="o">.</span><span class="n">lora</span><span class="o">.</span><span class="n">B</span><span class="o">.</span><span class="n">zero_</span><span class="p">()</span>   <span class="c1"># 搬家完毕，旧路径关闭</span>
</span></span></code></pre></div><p>第二跑：<strong>最大差异 9.16e-05</strong>，浮点误差级。等价性亲手证完，附录 E 正式画句号。顺带一提：32.6 这个「失败」反而是 LoRA 真训练过的证据——没学出权重的话，双重计数也差不出这个量级。</p>
<h2 id="七工程债m0-的动机清单">七、工程债（M0 的动机清单）</h2>
<p>今天改一行配置要懂三个文件（训练/评估/打分互相 import、路径写死、optimizer 藏在流程中间），「没有工程化，改起来好麻烦」——这些痛点全部转化为 lvllm 重写（笔记 08）的需求：</p>
<ol>
<li>checkpoint 标准化：语义命名、只增不删、adapter 单独存</li>
<li>sweep runner：配置表驱动，train/generate/score 一条龙</li>
<li>训练/评估/打分解耦，配置集中</li>
</ol>
<h2 id="一句话总结">一句话总结</h2>
<p><strong>结果出来了和实验发生了，是两回事</strong>——这是今天最贵的一句话，其余都是注脚。</p>
<hr>
<p><em>前一篇：<a href="https://blog.lvxinrong.com/llm/llm-07-2-switch-base/">手搓 LLM 笔记 07-2：换底座，从 33.5 分的 GPT-2 到 86.5 分的 Qwen</a></em></p>
]]></content:encoded>
    </item>
  </channel>
</rss>
