<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>思维链 on 吕炘嵘的博客</title>
    <link>https://blog.lvxinrong.com/tags/%E6%80%9D%E7%BB%B4%E9%93%BE/</link>
    <description>Recent content in 思维链 on 吕炘嵘的博客</description>
    <image>
      <title>吕炘嵘的博客</title>
      <url>https://blog.lvxinrong.com/og-default.jpg</url>
      
      <link>https://blog.lvxinrong.com/tags/%E6%80%9D%E7%BB%B4%E9%93%BE/</link>
    </image>
    <generator>Hugo</generator>
    <language>zh-CN</language>
    <lastBuildDate>Mon, 16 Nov 2026 12:00:00 +0800</lastBuildDate>
    <atom:link href="https://blog.lvxinrong.com/tags/%E6%80%9D%E7%BB%B4%E9%93%BE/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>手搓 LLM 笔记 24：I4 思维链 CoT-SFT</title>
      <link>https://blog.lvxinrong.com/llm/llm-24-i4-cot-sft/</link>
      <pubDate>Mon, 16 Nov 2026 12:00:00 +0800</pubDate>
      <guid>https://blog.lvxinrong.com/llm/llm-24-i4-cot-sft/</guid>
      <description>从 CoT 数据契约、Qwen 历史思考剥离和严格格式验收出发，完成 128 + 32 条 CoT 数据审计与三组 peak_lr 对照。记录 CoT 丢失、低学习率恢复、输出长度与推理算式变化，以及最终答案未超过原始模型的边界。</description>
      <content:encoded><![CDATA[<p>这篇记录 <strong>I4-C：思维链 CoT-SFT 的受控实验与阶段收官</strong>。它不是“CoT 能力已经解决”的证明，而是一次从数据协议、模板行为、训练干预到行为验收的完整排障。</p>
<p>最后得到的结论并不只是“哪个学习率最好”，而是：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">原始模型已经会生成 CoT
</span></span><span class="line"><span class="cl">→ 全参数 SFT 在不同 peak_lr 下产生不同程度的行为破坏
</span></span><span class="line"><span class="cl">→ 低学习率版本保留并改善了一部分行为
</span></span><span class="line"><span class="cl">→ 但最终答案正确率仍没有整体超过原始模型
</span></span></code></pre></div><h2 id="一实验目标与基线">一、实验目标与基线</h2>
<p>本轮继续使用 <strong>Qwen3-0.6B Instruct</strong>，从原始权重开始。实际运行环境为 MacBook M4 Pro、MPS、FP32。</p>
<p>实验问题不是“模型能不能显示 <code>&lt;think&gt;</code>”，而是：</p>
<ul>
<li>简短、正确的 CoT 数据能否改善推理表达；</li>
<li>最终答案与思考结构能否同时保持；</li>
<li>不同 peak_lr 会如何影响原生 CoT 行为；</li>
<li>训练后是否变得更短、更可靠，还是只是 loss 更低。</li>
</ul>
<p>第一版 CoT 行为基线使用 32 条独立验证样本，分别统计：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">answer_correct：最终数字是否正确
</span></span><span class="line"><span class="cl">format_compliant：是否以 &lt;think&gt; 开始，恰好一对标签、非空推理、纯数字答案，且推理不是答案复读
</span></span><span class="line"><span class="cl">finish_reason：自然结束还是长度截断
</span></span></code></pre></div><p>原始模型的基线结果为：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">answer_correct = 30/32
</span></span><span class="line"><span class="cl">format_compliant = 32/32
</span></span><span class="line"><span class="cl">passed = 30/32
</span></span><span class="line"><span class="cl">empty = 0
</span></span><span class="line"><span class="cl">natural_stop = 32/32
</span></span></code></pre></div><p>原始模型已经具备完整 CoT 输出能力，主要问题是思考偏长、存在自我怀疑，以及少量算术和推理错误。</p>
<h2 id="二cot-数据契约监督完整-assistant-输出">二、CoT 数据契约：监督完整 Assistant 输出</h2>
<h3 id="1-思考标签也属于训练目标">1. 思考标签也属于训练目标</h3>
<p>本轮选择监督完整 Assistant 输出，而不是只监督最终答案：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">&lt;think&gt;
</span></span><span class="line"><span class="cl">简短、正确的推理
</span></span><span class="line"><span class="cl">&lt;/think&gt;
</span></span><span class="line"><span class="cl">最终答案
</span></span><span class="line"><span class="cl">&lt;|im_end|&gt;
</span></span></code></pre></div><p>在固定探针中，Full 下标为：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">31～33：Assistant 角色头
</span></span><span class="line"><span class="cl">34：    &lt;think&gt;
</span></span><span class="line"><span class="cl">36～87：推理正文
</span></span><span class="line"><span class="cl">88：    &lt;/think&gt;
</span></span><span class="line"><span class="cl">90～92：最终答案 600
</span></span><span class="line"><span class="cl">93：    &lt;|im_end|&gt;
</span></span></code></pre></div><p>因此：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">full[34:94] → targets[33:93]
</span></span></code></pre></div><p>Assistant 角色头、System 和 User 不计 loss；思考标签、推理正文、最终答案和 <code>&lt;|im_end|&gt;</code> 都参与 loss。</p>
<p>这样训练的是完整输出协议：开始思考、进行推理、结束思考、给出答案、正常结束，而不是只学习答案格式。</p>
<h3 id="2-多轮-cot-的一个真实兼容问题">2. 多轮 CoT 的一个真实兼容问题</h3>
<p>GPT 辅助生成数据后，发现了一个系统性问题：<strong>Qwen 模板会剥离历史 Assistant 的思考过程，只保留最终答案。</strong></p>
<p>例如原始数据是：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">Assistant 1：&lt;think&gt;12 × 16 = 192。&lt;/think&gt;192
</span></span><span class="line"><span class="cl">User 2：补货后变为 3 倍
</span></span><span class="line"><span class="cl">Assistant 2：&lt;think&gt;192 × 3 = 576。&lt;/think&gt;576
</span></span></code></pre></div><p>模板实际保留的是：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">历史 Assistant：192
</span></span><span class="line"><span class="cl">最后一轮 Assistant：完整 CoT + 576
</span></span></code></pre></div><p>第一版 <code>find_assistant_spans()</code> 直接拿原始完整 CoT 去渲染文本中查找，必然找不到。受影响的正好是 64 条 train + 16 条 val，共 80 条多轮样本。</p>
<p>最终没有修改数据，也没有强行改变 Qwen 模板，而是遵循“模板实际显示什么，就监督什么”：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="k">def</span> <span class="nf">get_assistant_visible_content</span><span class="p">(</span><span class="n">messages</span><span class="p">,</span> <span class="n">index</span><span class="p">):</span>
</span></span><span class="line"><span class="cl">    <span class="n">content</span> <span class="o">=</span> <span class="n">messages</span><span class="p">[</span><span class="n">index</span><span class="p">][</span><span class="s2">&#34;content&#34;</span><span class="p">]</span><span class="o">.</span><span class="n">lstrip</span><span class="p">(</span><span class="s2">&#34;</span><span class="se">\n</span><span class="s2">&#34;</span><span class="p">)</span>
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl">    <span class="k">if</span> <span class="n">index</span> <span class="o">==</span> <span class="nb">len</span><span class="p">(</span><span class="n">messages</span><span class="p">)</span> <span class="o">-</span> <span class="mi">1</span> <span class="ow">or</span> <span class="s2">&#34;&lt;/think&gt;&#34;</span> <span class="ow">not</span> <span class="ow">in</span> <span class="n">content</span><span class="p">:</span>
</span></span><span class="line"><span class="cl">        <span class="k">return</span> <span class="n">content</span>
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl">    <span class="k">return</span> <span class="n">content</span><span class="o">.</span><span class="n">split</span><span class="p">(</span><span class="s2">&#34;&lt;/think&gt;&#34;</span><span class="p">)[</span><span class="o">-</span><span class="mi">1</span><span class="p">]</span><span class="o">.</span><span class="n">lstrip</span><span class="p">(</span><span class="s2">&#34;</span><span class="se">\n</span><span class="s2">&#34;</span><span class="p">)</span>
</span></span></code></pre></div><p>这样历史 Assistant 只监督最终答案和 <code>&lt;|im_end|&gt;</code>，最后一轮继续监督完整 CoT。新增回归后达到 <strong>5 passed</strong>，同时覆盖原有非 CoT 行为与多轮 CoT 可见性。</p>
<p>这也是训练与推理保持一致的重要原则：不为了保留思考而制造一套与真实调用不同的模板。</p>
<h2 id="三128--32-条-cot-数据审计">三、128 + 32 条 CoT 数据审计</h2>
<p>正式数据分为两类：</p>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th>类别</th>
        <th style="text-align: right">Train</th>
        <th style="text-align: right">Val</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td>单轮算术</td>
        <td style="text-align: right">64</td>
        <td style="text-align: right">16</td>
      </tr>
      <tr>
        <td>多轮数值更新</td>
        <td style="text-align: right">64</td>
        <td style="text-align: right">16</td>
      </tr>
      <tr>
        <td>合计</td>
        <td style="text-align: right"><strong>128</strong></td>
        <td style="text-align: right"><strong>32</strong></td>
      </tr>
    </tbody>
  </table>
</div>
<p>每条 Assistant 使用 1～3 行简短推理，最终答案为纯数字。数据审计实际覆盖：</p>
<ul>
<li>JSON、角色顺序和类别比例；</li>
<li>每个 Assistant 恰好一对 think 标签；</li>
<li>推理与最终答案非空，答案为纯数字；</li>
<li>train / val 无完全重复对话；</li>
<li>train / val 无重复显式算式；</li>
<li>与 smoke、非 CoT 数据无重复显式算式；</li>
<li>排除行为基线中的名字、颜色和指定表达式；</li>
<li><strong>272 条显式算式重新核算</strong>；</li>
<li>全部 160 条样本通过真实模板编码，修复后的历史 CoT 与最后一轮 CoT 均可定位。</li>
</ul>
<p>本地 <code>i4_cot_data_audit.py</code> 最终输出：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">train equations checked: 218
</span></span><span class="line"><span class="cl">val equations checked: 54
</span></span><span class="line"><span class="cl">total equations checked: 272
</span></span><span class="line"><span class="cl">train / val exact overlap: 0
</span></span><span class="line"><span class="cl">train / val expression overlap: 0
</span></span><span class="line"><span class="cl">existing-data expression overlap: 0
</span></span><span class="line"><span class="cl">全部 CoT 数据审计通过
</span></span></code></pre></div><p>算式解析只能覆盖明确写成“数字 + 运算符 + 数字”的部分，不能代替全部自然语言推理质量评估。</p>
<h2 id="四训练前的两个关键对照">四、训练前的两个关键对照</h2>
<h3 id="1-原始模型与上一轮非-cot-v2">1. 原始模型与上一轮非 CoT v2</h3>
<p>在开启 thinking 后，上一轮非 CoT SFT 的最佳版本出现了明显的行为变化：</p>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th>指标</th>
        <th style="text-align: right">原始模型</th>
        <th style="text-align: right">非 CoT v2</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td>最终答案正确</td>
        <td style="text-align: right">30/32</td>
        <td style="text-align: right">10/32</td>
      </tr>
      <tr>
        <td>完整 CoT 格式</td>
        <td style="text-align: right">32/32</td>
        <td style="text-align: right">0/32</td>
      </tr>
      <tr>
        <td>综合通过</td>
        <td style="text-align: right">30/32</td>
        <td style="text-align: right">0/32</td>
      </tr>
    </tbody>
  </table>
</div>
<p>这说明非 CoT SFT 对 thinking 行为存在明显干扰。因此，本轮从原始权重开始，不把“恢复被破坏的 thinking”和“学习短 CoT”混成同一个实验。</p>
<h3 id="2-评分脚本也需要先修正">2. 评分脚本也需要先修正</h3>
<p>第一次评估时，<code>expected</code> 是完整的 <code>&lt;think&gt;...&lt;/think&gt;</code> 加答案，却拿去与模型的纯数字答案做 <code>expected_exact</code> 比较，导致所有样本被误判为答案错误。</p>
<p>修正为：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="n">expected_answer</span> <span class="o">=</span> <span class="n">split_cot_response</span><span class="p">(</span><span class="n">expected</span><span class="p">)[</span><span class="mi">1</span><span class="p">]</span>
</span></span></code></pre></div><p>并分别保存完整期望输出与最终期望数字。修正后，原始模型的 30 条正确答案才被正确计入。</p>
<p>这再次说明：<strong>先验收评测器，再比较模型。</strong></p>
<h2 id="五三组训练与行为结果">五、三组训练与行为结果</h2>
<p>三组都使用原始权重、128 条训练样本、32 条验证样本、<code>batch_size=4</code>、<code>n_epochs=1</code>、32 steps、seed=123。</p>
<p>报告核对后，三版的 <code>initial_lr</code> 与 <code>min_lr</code> 实际均为 <code>1e-6</code> 和 <code>1e-7</code>，并非整体按比例缩放。因此，本实验应理解为 <strong>peak_lr 与后续调度路径的对照</strong>，不声称其他调度参数完全相同。</p>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th>版本</th>
        <th style="text-align: right">peak_lr</th>
        <th style="text-align: right">final full val loss</th>
        <th style="text-align: right">答案正确</th>
        <th style="text-align: right">完整 CoT</th>
        <th style="text-align: right">综合通过</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td>v1</td>
        <td style="text-align: right">1e-5</td>
        <td style="text-align: right"><strong>0.807683</strong></td>
        <td style="text-align: right">6/32</td>
        <td style="text-align: right">0/32</td>
        <td style="text-align: right">0/32</td>
      </tr>
      <tr>
        <td>v2</td>
        <td style="text-align: right">1e-6</td>
        <td style="text-align: right">1.159451</td>
        <td style="text-align: right"><strong>29/32</strong></td>
        <td style="text-align: right"><strong>32/32</strong></td>
        <td style="text-align: right"><strong>29/32</strong></td>
      </tr>
      <tr>
        <td>v3</td>
        <td style="text-align: right">3e-6</td>
        <td style="text-align: right">1.037620</td>
        <td style="text-align: right">18/32</td>
        <td style="text-align: right"><strong>1/32</strong></td>
        <td style="text-align: right"><strong>1/32</strong></td>
      </tr>
    </tbody>
  </table>
</div>
<h3 id="1-v1低-loss但-cot-直接丢失">1. v1：低 loss，但 CoT 直接丢失</h3>
<p>v1 的训练结果很漂亮：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">initial train loss = 2.670255
</span></span><span class="line"><span class="cl">final train loss = 0.822201
</span></span><span class="line"><span class="cl">final full val loss = 0.807683
</span></span></code></pre></div><p>但行为上：</p>
<ul>
<li>32 条样本全部没有完整 CoT；</li>
<li>最终答案只剩 6 条正确；</li>
<li>两组回答重复到长度上限；</li>
<li>训练原题上，原始模型 4/4 正确且完整 CoT，v1 只剩 1/4 正确、0/4 完整 CoT。</li>
</ul>
<p>所以它不是简单的验证集泛化失败，而是训练直接引入了 CoT 行为干扰。</p>
<h3 id="2-v2降低-peak_lr-后cot-恢复并出现局部收益">2. v2：降低 peak_lr 后，CoT 恢复并出现局部收益</h3>
<p>将 <code>peak_lr</code> 降到 <code>1e-6</code> 后：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">final train loss = 1.140148
</span></span><span class="line"><span class="cl">final full val loss = 1.159451
</span></span></code></pre></div><p>行为结果为：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">answer_correct = 29/32
</span></span><span class="line"><span class="cl">format_compliant = 32/32
</span></span><span class="line"><span class="cl">passed = 29/32
</span></span><span class="line"><span class="cl">natural_stop = 32/32
</span></span></code></pre></div><p>分类表现：</p>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th>类别</th>
        <th style="text-align: right">原始模型</th>
        <th style="text-align: right">v2</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td>数值更新</td>
        <td style="text-align: right">15/16</td>
        <td style="text-align: right"><strong>16/16</strong></td>
      </tr>
      <tr>
        <td>单轮算术</td>
        <td style="text-align: right">15/16</td>
        <td style="text-align: right">13/16</td>
      </tr>
    </tbody>
  </table>
</div>
<p>v2 的数值更新超过原始模型，但单轮算术和总体正确率仍未超过原始模型。因此它是<strong>当前 SFT 干预中破坏最小、存在局部收益的 checkpoint</strong>，不是全面优于原始模型的 checkpoint。</p>
<h3 id="3-v3中间学习率再次出现结构性退化">3. v3：中间学习率再次出现结构性退化</h3>
<p>将 <code>peak_lr</code> 调到 <code>3e-6</code> 后，最终答案为 18/32，严格有效 CoT 只剩 1/32。</p>
<p>主要问题包括：</p>
<ul>
<li>前置乱码或无关数字；</li>
<li>空思考；</li>
<li>思考标签与答案交错；</li>
<li>最终答案与中间结果不一致；</li>
<li>数值更新行为明显失稳。</li>
</ul>
<p>v3 的 <code>format_compliant=1</code> 使用收紧后的格式定义重新计算，不能把早期宽松检查中的 28 条标签出现当作有效 CoT。</p>
<h2 id="六严格格式验收出现标签不等于有效-cot">六、严格格式验收：出现标签不等于有效 CoT</h2>
<p>早期格式检查只要求有一对标签、非空推理和最终答案，导致“前置垃圾数字”和“答案复读”也被判为合格。</p>
<p>最终收紧为：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="k">def</span> <span class="nf">has_complete_cot_format</span><span class="p">(</span><span class="n">response</span><span class="p">):</span>
</span></span><span class="line"><span class="cl">    <span class="n">stripped</span> <span class="o">=</span> <span class="n">response</span><span class="o">.</span><span class="n">strip</span><span class="p">()</span>
</span></span><span class="line"><span class="cl">    <span class="k">if</span> <span class="ow">not</span> <span class="n">stripped</span><span class="o">.</span><span class="n">startswith</span><span class="p">(</span><span class="s2">&#34;&lt;think&gt;&#34;</span><span class="p">):</span>
</span></span><span class="line"><span class="cl">        <span class="k">return</span> <span class="kc">False</span>
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl">    <span class="n">reasoning</span><span class="p">,</span> <span class="n">final_answer</span> <span class="o">=</span> <span class="n">split_cot_response</span><span class="p">(</span><span class="n">stripped</span><span class="p">)</span>
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl">    <span class="k">return</span> <span class="p">(</span>
</span></span><span class="line"><span class="cl">        <span class="n">response</span><span class="o">.</span><span class="n">count</span><span class="p">(</span><span class="s2">&#34;&lt;think&gt;&#34;</span><span class="p">)</span> <span class="o">==</span> <span class="mi">1</span>
</span></span><span class="line"><span class="cl">        <span class="ow">and</span> <span class="n">response</span><span class="o">.</span><span class="n">count</span><span class="p">(</span><span class="s2">&#34;&lt;/think&gt;&#34;</span><span class="p">)</span> <span class="o">==</span> <span class="mi">1</span>
</span></span><span class="line"><span class="cl">        <span class="ow">and</span> <span class="nb">bool</span><span class="p">(</span><span class="n">reasoning</span><span class="p">)</span>
</span></span><span class="line"><span class="cl">        <span class="ow">and</span> <span class="nb">bool</span><span class="p">(</span><span class="n">final_answer</span><span class="p">)</span>
</span></span><span class="line"><span class="cl">        <span class="ow">and</span> <span class="n">reasoning</span> <span class="o">!=</span> <span class="n">final_answer</span>
</span></span><span class="line"><span class="cl">    <span class="p">)</span>
</span></span></code></pre></div><p>这要求：</p>
<ul>
<li>必须以 <code>&lt;think&gt;</code> 开始；</li>
<li>恰好一对标签；</li>
<li>推理与答案都非空；</li>
<li>推理不能只是答案复读；</li>
<li>最终答案仍需通过纯数字格式检查。</li>
</ul>
<p>原始模型与 v2 在新定义下仍为 32/32；v3 从宽松的 28 条降为严格的 1 条。这说明<strong>短输出和出现标签都不能代替有效结构验收</strong>。</p>
<h2 id="七输出长度与推理算式变化">七、输出长度与推理算式变化</h2>
<p>进一步比较原始模型与 v2：</p>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th>指标</th>
        <th style="text-align: right">原始模型</th>
        <th style="text-align: right">v2：peak_lr=1e-6</th>
        <th style="text-align: right">变化</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td>平均生成 tokens</td>
        <td style="text-align: right">163.1</td>
        <td style="text-align: right">139.4</td>
        <td style="text-align: right"><strong>缩短约 14.5%</strong></td>
      </tr>
      <tr>
        <td>中位生成 tokens</td>
        <td style="text-align: right">146</td>
        <td style="text-align: right">120</td>
        <td style="text-align: right"><strong>缩短约 17.8%</strong></td>
      </tr>
      <tr>
        <td>最大生成 tokens</td>
        <td style="text-align: right">430</td>
        <td style="text-align: right">278</td>
        <td style="text-align: right"><strong>缩短约 35.3%</strong></td>
      </tr>
      <tr>
        <td>推理算式错误</td>
        <td style="text-align: right">2 条</td>
        <td style="text-align: right"><strong>0 条</strong></td>
        <td style="text-align: right">当前检查中消除</td>
      </tr>
    </tbody>
  </table>
</div>
<p>v2 的确不只是“保住原模型”，它确实带来了输出变短和显式推理算式改善。</p>
<p>但 <code>reasoning equation errors=0</code> 只说明正则识别出的算式计算正确，不代表整段推理逻辑和最终答案一定正确。v2 仍有 3 条最终答案错误，仍存在自我怀疑、过程混乱和前后不一致。</p>
<h2 id="八loss-与行为表现再次不一致">八、loss 与行为表现再次不一致</h2>
<p>v1 的 val loss 最低，却只有 6/32 正确答案且完全丢失 CoT；v2 的 val loss 更高，却有 29/32 正确答案和完整 CoT。</p>
<p>这与 I4-B 的结论一致：</p>
<blockquote>
<p><strong>平均 token loss 下降，不等于目标行为变好；训练拟合程度更强，也不等于旧能力保留得更好。</strong></p>
</blockquote>
<p>后训练必须同时评估：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">训练与验证 loss
</span></span><span class="line"><span class="cl">最终答案正确性
</span></span><span class="line"><span class="cl">输出结构完整性
</span></span><span class="line"><span class="cl">推理过程质量
</span></span><span class="line"><span class="cl">旧能力保持情况
</span></span></code></pre></div><h2 id="九阶段结论">九、阶段结论</h2>
<p>本轮可以确认：</p>
<ul>
<li>CoT 的标签、推理正文和最终答案都能进入训练目标；</li>
<li>Qwen 历史 Assistant 的 CoT 会被模板剥离，Dataset 必须按可见内容定位；</li>
<li>peak_lr 对 CoT 行为有显著影响，高学习率下可能出现格式丢失和结构性退化；</li>
<li>LR=1e-6 的版本保留了完整 CoT，并改善数值更新、输出长度和显式推理算式；</li>
<li>但最终答案正确率没有整体超过原始模型，不能宣称 CoT-SFT 已全面提升能力。</li>
</ul>
<p>因此，如果优先追求最终答案正确率，<strong>原始模型仍然更合适</strong>；如果研究如何以较小破坏获得局部行为收益，v2 才具有对照价值。</p>
<h2 id="十阶段收官与下一步">十、阶段收官与下一步</h2>
<p>I4-C 按受控实验阶段收官，保留以下未解决问题：</p>
<ul>
<li>最终答案准确率尚未整体超过原始模型；</li>
<li>推理仍然偏长，自我怀疑并未完全消失；</li>
<li>推理算式检查不能覆盖完整语义质量；</li>
<li>尚未评估更大数据集、真实任务或其他模型规模；</li>
<li>尚未开始 DPO / GRPO。</li>
</ul>
<p>下一步进入 I4-D 时，将重点研究偏好数据：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">Chosen：简短、正确、结构完整的 CoT
</span></span><span class="line"><span class="cl">Rejected：冗长、自我怀疑、算式错误、结构混乱或重复的回答
</span></span></code></pre></div><p>DPO 的目标是学习偏好差异，而不是简单模仿标准答案。它是否能在保留最终答案能力的同时改善表达，需要重新建立基线和能力保持评测，不能当成自动修复工具。</p>
<h2 id="主要实验产物">主要实验产物</h2>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">src/squid/data/chat_sft.py
</span></span><span class="line"><span class="cl">scripts/i4_cot_template_probe.py
</span></span><span class="line"><span class="cl">scripts/i4_cot_data_audit.py
</span></span><span class="line"><span class="cl">scripts/i4_cot_target_probe.py
</span></span><span class="line"><span class="cl">scripts/i4_cot_sft_train.py
</span></span><span class="line"><span class="cl">scripts/i4_cot_behavior_eval.py
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl">data/reports/i4-cot-original-baseline.json
</span></span><span class="line"><span class="cl">data/reports/i4-cot-v2-baseline.json
</span></span><span class="line"><span class="cl">data/reports/i4-cot-sft-v1-training.json
</span></span><span class="line"><span class="cl">data/reports/i4-cot-sft-v2-lr1e-6-training.json
</span></span><span class="line"><span class="cl">data/reports/i4-cot-sft-v3-lr3e-6-training.json
</span></span><span class="line"><span class="cl">data/reports/i4-cot-sft-v1-behavior.json
</span></span><span class="line"><span class="cl">data/reports/i4-cot-sft-v2-lr1e-6-behavior.json
</span></span><span class="line"><span class="cl">data/reports/i4-cot-sft-v3-lr3e-6-behavior.json
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl">data/model_pth/qwen3/i4-cot-sft-v1.pth
</span></span><span class="line"><span class="cl">data/model_pth/qwen3/i4-cot-sft-v2-lr1e-6.pth
</span></span><span class="line"><span class="cl">data/model_pth/qwen3/i4-cot-sft-v3-lr3e-6.pth
</span></span></code></pre></div>]]></content:encoded>
    </item>
  </channel>
</rss>
