<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>评估 on 吕炘嵘的博客</title>
    <link>https://blog.lvxinrong.com/tags/%E8%AF%84%E4%BC%B0/</link>
    <description>Recent content in 评估 on 吕炘嵘的博客</description>
    <image>
      <title>吕炘嵘的博客</title>
      <url>https://blog.lvxinrong.com/og-default.jpg</url>
      
      <link>https://blog.lvxinrong.com/tags/%E8%AF%84%E4%BC%B0/</link>
    </image>
    <generator>Hugo</generator>
    <language>zh-CN</language>
    <lastBuildDate>Mon, 02 Nov 2026 14:34:38 +0800</lastBuildDate>
    <atom:link href="https://blog.lvxinrong.com/tags/%E8%AF%84%E4%BC%B0/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>手搓 LLM 笔记 14：M5，让评估能够中断后继续</title>
      <link>https://blog.lvxinrong.com/llm/llm-14-eval-resume/</link>
      <pubDate>Mon, 02 Nov 2026 14:34:38 +0800</pubDate>
      <guid>https://blog.lvxinrong.com/llm/llm-14-eval-resume/</guid>
      <description>RoPE 独立模型、选择题偏差、完整答案似然与自由生成断点续跑；M5 已完成 110 条结构化报告及 17 项相关回归。</description>
      <content:encoded><![CDATA[<h2 id="今天的路线">今天的路线</h2>
<p>上午把 RoPE 从概念讨论推进到独立实现，下午开始 M5 评估框架。</p>
<p>两件事看起来不相关，其实共享同一个工程习惯：<strong>不能只让代码跑一次成功，还要让它可验证、可恢复、可重复执行。</strong></p>
<h2 id="上午独立-rope-模型闭环">上午：独立 RoPE 模型闭环</h2>
<h3 id="为什么独立一个-package">为什么独立一个 package</h3>
<p>旧 <code>GPTModel</code> 保留 GPT2 的可学习绝对位置编码和现有 355M 权重路径，不在同一个类里不断增加位置分支。</p>
<p>新版放在独立的 <code>rope_gpt</code> package 中：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">rope_gpt/
</span></span><span class="line"><span class="cl">├── rope.py     # 频率、cos/sin、Q/K 旋转
</span></span><span class="line"><span class="cl">├── layers.py   # RoPE MHA + TransformerBlock
</span></span><span class="line"><span class="cl">└── gpt.py      # GPTModelRoPE
</span></span></code></pre></div><p>FFN 和 LayerNorm 复用旧实现；位置相关的 attention 和模型主干独立出来。</p>
<h3 id="三个数学函数">三个数学函数</h3>
<p><code>compute_inv_freq</code> 构造固定频率表：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">θⱼ = base^(-2j / head_dim)
</span></span></code></pre></div><p>这里的 <code>head_dim</code> 是单个注意力头的维度，不是完整的 <code>emb_dim</code>。例如 768 维、12 个 head，每头 64 维，每头内部有 32 组二维向量。</p>
<p><code>compute_cos_sin</code> 用外积计算每个位置、每组频率对应的角度：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">freqs[i][j] = position_ids[i] × inv_freq[j]
</span></span></code></pre></div><p><code>apply_rope</code> 使用与 nanochat 相同的前后半配对方式，对 Q/K 的最后一维做旋转，再拼接回原来的形状。</p>
<p>需要记住的边界：</p>
<ul>
<li>标准 RoPE 没有可学习的位置参数，频率固定；</li>
<li>每组频率不同是为了覆盖不同尺度，不是每组属于不同 batch 或 head；</li>
<li>旋转保持 shape 和向量长度，但会改变点积，使点积能够感知相对位置；</li>
<li>每个二维旋转仍有周期，能计算更长位置不等于模型一定能泛化到更长上下文。</li>
</ul>
<h3 id="接入-mha-与-kv-cache">接入 MHA 与 KV cache</h3>
<p>执行顺序：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">W_query/W_key 计算当前 Q/K
</span></span><span class="line"><span class="cl">→ 拆成注意力头
</span></span><span class="line"><span class="cl">→ 根据 past_len 得到当前位置
</span></span><span class="line"><span class="cl">→ 旋转当前 Q/K
</span></span><span class="line"><span class="cl">→ 拼接历史 K/V
</span></span></code></pre></div><p>Q 是当前 forward 的局部变量，不需要持久化。当前 K 旋转后进入 <code>present_kv</code>；历史 K 已经按原位置旋转过，不能重复旋转。V 始终不做 RoPE。</p>
<p>Block 和 GPTModel 负责逐层透传 cache，generate 负责保存整组 cache 并在下一轮喂回去。</p>
<h3 id="验收结果">验收结果</h3>
<ul>
<li>位置 0 保持不变，旋转前后向量模长一致；</li>
<li>相同相对距离下点积一致，不同相对距离下点积会变化；</li>
<li>两层 RoPE 模型完整前向与逐 token cache 前向对齐，最大误差约 <code>2.38e-07</code>；</li>
<li>RoPE、旧模型、生成和 checkpoint 联合回归：<code>9 passed</code>；</li>
<li>复用原有 124M 预训练测试，只替换模型声明，train/val loss 持续下降；训练冒烟最后 val loss 约 <code>8.915</code>，BPB 约 <code>3.354</code>。</li>
</ul>
<p>这些结果证明 RoPE 模型能从零训练并正确接入现有工程，不证明它在当前小语料上已经优于绝对位置编码。</p>
<h2 id="下午m5-评估框架">下午：M5 评估框架</h2>
<h3 id="现有代码已经有什么">现有代码已经有什么</h3>
<p><code>eval/generate.py</code> 中的 <code>generate_responses</code> 已经能批量生成并保存回答，但只在全部结束后写一次文件。</p>
<p><code>eval/judge.py</code> 中的 <code>score_entries</code> 已经有初步的评分续跑能力：已有 <code>score</code> 的记录会跳过，并每隔若干条保存一次。</p>
<p>所以 M5 不是从零重写，而是补齐生成端、评分端和报告之间的完整契约。</p>
<h3 id="为什么需要断点续跑">为什么需要断点续跑</h3>
<p>假设有 110 条测试数据，生成到第 100 条时进程中断。</p>
<p>如果只在全部完成后保存，磁盘上可能一条有效结果都没有，下次只能从第一条重新生成。</p>
<p>改为每条生成后立即保存：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">第 1 条完成 → 写入 JSON
</span></span><span class="line"><span class="cl">第 2 条完成 → 写入 JSON
</span></span><span class="line"><span class="cl">……
</span></span><span class="line"><span class="cl">第 100 条中断 → 前 100 条仍然保留
</span></span><span class="line"><span class="cl">下次启动 → 跳过已有回答，从缺失位置继续
</span></span></code></pre></div><p>这里的“断点续跑”不是训练 checkpoint，也不是下载文件的断点续传，而是<strong>评估任务的中间结果可恢复</strong>。</p>
<p>目的不是让一次完整运行更快，而是避免重复消耗 GPU 时间和评委 API 额度，并允许随时人工检查中间结果。</p>
<h3 id="当前新增函数">当前新增函数</h3>
<p>新增 <code>generate_responses_resumable</code>，与旧函数并存，便于对照。</p>
<p>当前状态：<strong>代码已编写，等待断点续跑测试，尚未标记为验收完成。</strong></p>
<p>设计中的四个核心动作：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">读取历史 JSON → 用 index 识别记录 → 跳过已有 model_response → 每条生成后立即保存
</span></span></code></pre></div><p>同一个输出文件必须对应同一模型和同一份测试数据，不能换模型后错误复用旧回答。</p>
<h3 id="为什么继续使用-json-数组">为什么继续使用 JSON 数组</h3>
<p>当前评估只有百余条记录，继续使用带缩进的 JSON 数组：</p>
<ul>
<li>人类打开即可阅读；</li>
<li>现有 <code>score_entries</code> 不需要迁移；</li>
<li>每条记录保存时全量重写，当前规模下开销可以忽略；</li>
<li>保留完整 instruction、input、参考答案和模型回答，方便抽查。</li>
</ul>
<p>JSONL 的流式追加更适合更大的记录规模，暂时不把格式迁移变成 M5 的主线。</p>
<h2 id="python-细节entryjson-与字典展开">Python 细节：entry、JSON 与字典展开</h2>
<h3 id="entry-是-python-字典不是-json-文本">entry 是 Python 字典，不是 JSON 文本</h3>
<p>JSON 是文件中的文本格式。经过 <code>json.loads</code> 后，它变成 Python 的 list、dict 等对象。</p>
<p>循环中的：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="k">for</span> <span class="n">index</span><span class="p">,</span> <span class="n">entry</span> <span class="ow">in</span> <span class="nb">enumerate</span><span class="p">(</span><span class="n">test_data</span><span class="p">):</span>
</span></span></code></pre></div><p>这里的 <code>entry</code> 就是当前一条样本字典，通常包含：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="p">{</span>
</span></span><span class="line"><span class="cl">    <span class="s2">&#34;instruction&#34;</span><span class="p">:</span> <span class="s2">&#34;任务要求&#34;</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">    <span class="s2">&#34;input&#34;</span><span class="p">:</span> <span class="s2">&#34;可选输入&#34;</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">    <span class="s2">&#34;output&#34;</span><span class="p">:</span> <span class="s2">&#34;参考答案&#34;</span><span class="p">,</span>
</span></span><span class="line"><span class="cl"><span class="p">}</span>
</span></span></code></pre></div><h3 id="entry-不是指针"><code>**entry</code> 不是指针</h3>
<p>在字典字面量中，<code>**entry</code> 表示把原字典的键值对展开并合并：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="n">new_entry</span> <span class="o">=</span> <span class="p">{</span>
</span></span><span class="line"><span class="cl">    <span class="s2">&#34;index&#34;</span><span class="p">:</span> <span class="n">index</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">    <span class="o">**</span><span class="n">entry</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">    <span class="s2">&#34;model_response&#34;</span><span class="p">:</span> <span class="n">response</span><span class="p">,</span>
</span></span><span class="line"><span class="cl"><span class="p">}</span>
</span></span></code></pre></div><p>它保留原样本字段，再添加编号和模型回答，与内存地址或指针无关。</p>
<p>简单记忆：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">*  → 展开列表、元组等可迭代对象
</span></span><span class="line"><span class="cl">** → 展开字典的键值对
</span></span></code></pre></div><h3 id="indent4-与-ensure_asciifalse"><code>indent=4</code> 与 <code>ensure_ascii=False</code></h3>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="n">json</span><span class="o">.</span><span class="n">dumps</span><span class="p">(</span><span class="n">responses</span><span class="p">,</span> <span class="n">indent</span><span class="o">=</span><span class="mi">4</span><span class="p">,</span> <span class="n">ensure_ascii</span><span class="o">=</span><span class="kc">False</span><span class="p">)</span>
</span></span></code></pre></div><ul>
<li><code>indent=4</code>：按每层 4 个空格缩进，让 JSON 更适合人类阅读；</li>
<li><code>ensure_ascii=False</code>：中文直接写入文件，而不是变成 <code>\uXXXX</code> 转义；</li>
<li>配合 <code>encoding=&quot;utf-8&quot;</code>，文件中的中文可以直接阅读；</li>
<li>两者改变的是文件呈现，不改变 JSON 加载后的数据。</li>
</ul>
<h2 id="选择题评测从字母标签到完整答案似然">选择题评测：从字母标签到完整答案似然</h2>
<p>下午后半段做了两种完全不同的选择题评估。20 道英文题由 DeepSeek 生成并人工检查，覆盖 3～5 个选项，A/B/C/D 的正确答案位置各出现 5 次。</p>
<h3 id="第一种比较-abcd-的-next-token-logits">第一种：比较 A/B/C/D 的 next-token logits</h3>
<p>prompt 中包含完整选项：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">Question: What is the capital of France?
</span></span><span class="line"><span class="cl">A. Berlin
</span></span><span class="line"><span class="cl">B. Paris
</span></span><span class="line"><span class="cl">C. Madrid
</span></span><span class="line"><span class="cl">D. Rome
</span></span><span class="line"><span class="cl">Answer:
</span></span></code></pre></div><p>模型不需要自由生成，只取最后一个 prompt 位置的 logits，分别读取 <code>&quot; A&quot;</code>、<code>&quot; B&quot;</code>、<code>&quot; C&quot;</code>、<code>&quot; D&quot;</code> 对应 token id 的分数。</p>
<p>这里不需要为四个选项额外训练分类头。候选数量可以随 options 动态变化，其他词表 token 不影响 A/B/C/D 之间的相对排名。</p>
<p>数据里的 <code>answer</code> 保存从 0 开始的正确选项下标，不放进 prompt；A/B/C/D 是格式化时根据 options 的顺序添加的。</p>
<h3 id="第一次结果很像在蒙而且主要在蒙-a">第一次结果：很像在蒙，而且主要在蒙 A</h3>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th>模型</th>
        <th style="text-align: right">原始准确率</th>
        <th style="text-align: right">打乱选项后准确率</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td>base</td>
        <td style="text-align: right">30%（6/20）</td>
        <td style="text-align: right">30%（6/20）</td>
      </tr>
      <tr>
        <td>SFT</td>
        <td style="text-align: right">25%（5/20）</td>
        <td style="text-align: right">30%（6/20）</td>
      </tr>
    </tbody>
  </table>
</div>
<p>原始测试中，base 有 19 次选择 A，SFT 也有 19 次选择 A。打乱选项、同步调整 answer 下标后，两者仍然各有 19 次选择 0 号选项。</p>
<p>打乱后正确答案位于 0 号的题目正好有 6 道，因此“永远选 A”本身就得到 6/20，即 30%。两个模型的总分都与这个位置基线一致。</p>
<p>这说明当前字母评估法主要测到的是第一个选项的偏好，不能直接把 25% 或 30% 解释成模型知识答题能力。base/SFT 相差一两道题，也不足以证明 SFT 损伤或提升了知识能力。</p>
<h2 id="第二种完整答案的条件对数似然">第二种：完整答案的条件对数似然</h2>
<p>这次不再展示 A/B/C/D，prompt 只保留：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">Question: 问题
</span></span><span class="line"><span class="cl">Answer:
</span></span></code></pre></div><p>然后分别把每个完整 option 放到 Answer 后面，计算：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">log P(候选答案 | 问题)
</span></span></code></pre></div><p>行业术语是 conditional log-likelihood scoring（条件对数似然评分），在固定候选的选择题中也可称 multiple-choice likelihood evaluation。</p>
<h3 id="实验结果">实验结果</h3>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th>模型</th>
        <th style="text-align: right">总 logprob 准确率</th>
        <th style="text-align: right">平均 logprob 准确率</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td>base</td>
        <td style="text-align: right">50%（10/20）</td>
        <td style="text-align: right">40%（8/20）</td>
      </tr>
      <tr>
        <td>SFT</td>
        <td style="text-align: right">60%（12/20）</td>
        <td style="text-align: right">55%（11/20）</td>
      </tr>
    </tbody>
  </table>
</div>
<p>完整答案评估显著高于字母评估，说明字母标签法确实埋没了模型已有的部分能力。但 50%～60% 也说明 355M 模型仍不稳定，不能把全部问题都归因于评估方法。</p>
<p>SFT 比 base 多答对 2～3 题，只是一个值得观察的小样本信号，不能推广成普遍结论。</p>
<h2 id="本次最纠结的几个问题">本次最纠结的几个问题</h2>
<h3 id="把-option-放进输入不是提前告诉模型答案了吗">把 option 放进输入，不是提前告诉模型答案了吗？</h3>
<p>确实告诉了，但这是候选排序，不是自由作答。</p>
<p>四次评分分别构造四个独立输入：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">Question + Answer: Berlin
</span></span><span class="line"><span class="cl">Question + Answer: Paris
</span></span><span class="line"><span class="cl">Question + Answer: Madrid
</span></span><span class="line"><span class="cl">Question + Answer: Rome
</span></span></code></pre></div><p>模型没有被要求判断“这段话对不对”，也没有自由生成答案；我们只是比较它认为哪个候选更像自然续写。</p>
<p>因此这里的 60% 不能解释成“自由回答正确率 60%”，只能解释为“在固定候选中，有 60% 的题目把正确答案排到了最高似然”。</p>
<h3 id="这是不是生成回答后查找答案关键词">这是不是生成回答后查找答案关键词？</h3>
<p>不是。关键词匹配需要先自由生成，再检查文本中是否出现答案，容易被否定句或无关提及误导。</p>
<p>本次使用 teacher forcing：把候选答案的真实 token 放进输入，读取模型对每个目标 token 的预测分数。整个过程不生成自由文本，也不做字符串包含匹配。</p>
<h3 id="一个-token-的-logits-不是一个-next-token-分数吗">一个 token 的 logits 不是一个 next-token 分数吗？</h3>
<p>不是。每个位置的 logits 是整个词表上的分数向量，形状为 <code>(vocab_size,)</code>。</p>
<p>以“吕炘嵘性别是”为 prompt、“男”为候选答案为例：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">行：prompt 最后一个 token“是”所在的位置
</span></span><span class="line"><span class="cl">列：“男”对应的 vocab token id
</span></span><span class="line"><span class="cl">值：log P(男 | 吕炘嵘性别是)
</span></span></code></pre></div><p>所以是拿“男”的 token id，回到“是”所在位置的 logits 向量中，取出“男”对应的那一项分数。</p>
<p>代码中的 <code>gather</code> 就是在批量完成“每个答案位置取目标 token 对应列”的动作。</p>
<h3 id="为什么不能直接取完整输入的-logits--1-">为什么不能直接取完整输入的 <code>logits[:, -1, :]</code>？</h3>
<p>候选答案已经拼进完整输入后，最后一个位置预测的是“候选答案之后”的 token，不是候选答案本身。</p>
<p>若 prompt 长度为 P、答案有 A 个 token，则需要从 <code>P - 1</code> 开始取 A 个位置：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="n">start</span> <span class="o">=</span> <span class="nb">len</span><span class="p">(</span><span class="n">prompt_ids</span><span class="p">)</span> <span class="o">-</span> <span class="mi">1</span>
</span></span><span class="line"><span class="cl"><span class="n">answer_logits</span> <span class="o">=</span> <span class="n">logits</span><span class="p">[:,</span> <span class="n">start</span><span class="p">:</span><span class="n">start</span> <span class="o">+</span> <span class="nb">len</span><span class="p">(</span><span class="n">continuation_ids</span><span class="p">),</span> <span class="p">:]</span>
</span></span></code></pre></div><p>第一个位置预测答案首 token，后续位置依次预测后续答案 token。</p>
<h3 id="多-token-答案怎样评分">多 token 答案怎样评分？</h3>
<p>候选答案先被完整编码为任意数量的 token。一次模型前向后，读取每个答案 token 的条件 logprob，再求总和或平均值：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">sum_logprob  = 整段答案的 logprob 之和
</span></span><span class="line"><span class="cl">mean_logprob = sum_logprob / token 数量
</span></span></code></pre></div><p>Paris 只有一个 token，所以它的 sum 和 mean 都是约 <code>-4.039</code>。base 对其他候选的分数约为 -9、-10，说明它其实明确倾向 Paris，只是不善于把这个倾向映射成字母 B。</p>
<h3 id="总和与平均为什么给出不同答案">总和与平均为什么给出不同答案？</h3>
<p>总 logprob 容易偏向短答案；平均 logprob 会改变长度影响，但也可能给多 token 候选额外优势。</p>
<p>例如“非洲最长河流”：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">Zambezi：总约 -5.42，平均约 -1.81
</span></span><span class="line"><span class="cl">Nile：    总约 -4.05，平均约 -4.05
</span></span></code></pre></div><p>平均法选择了多 token 的 Zambezi，但总 logprob 法选择了正确答案 Nile。日本首都题中，平均法也偏向了多 token 的 Hanoi，而总 logprob 法选择了 Tokyo。</p>
<p>因此两种指标都应保留，不能把任何一种当成绝对公正的长度归一化。</p>
<h2 id="对-m5-的方法论更新">对 M5 的方法论更新</h2>
<p>选择题准确率不能脱离以下信息单独解读：</p>
<ul>
<li>预测标签分布，防止“永远选 A”被误认为能力；</li>
<li>选项顺序对照，识别位置偏好；</li>
<li>候选答案的总/平均 logprob，观察长度偏差；</li>
<li>自由生成、候选排序和外部评委，分别说明不同能力，不能混为一个分数。</li>
</ul>
<p>M5 的价值不是尽快拿到高分，而是知道一个分数到底测量了什么，以及它在哪些情况下不可信。</p>
<h2 id="自由生成闭环从一次脚本到可恢复评估">自由生成闭环：从一次脚本到可恢复评估</h2>
<p>M5 第二天补齐了自由生成评估的工程链路：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">加载 SFT 权重
</span></span><span class="line"><span class="cl">→ 切分 held-out test
</span></span><span class="line"><span class="cl">→ generate_response_resumable 生成回答并逐条落盘
</span></span><span class="line"><span class="cl">→ score_entries 调用 DeepSeek 评分并跳过已有分数
</span></span><span class="line"><span class="cl">→ build_score_summary 汇总统计
</span></span><span class="line"><span class="cl">→ save_score_report 保存 summary + items 的 JSON 报告
</span></span></code></pre></div><p>生成端和评分端都可以中断后继续。第二次运行生成函数时，已有 <code>model_response</code> 的记录会全部跳过；测试中还通过 mock 禁止重复调用生成函数，确认续跑不是仅靠结果相同来判断。</p>
<p>同时修复了两个输出细节：entry 自带的旧 index 不再覆盖当前编号，回答末尾的 <code>&lt;|endoftext|&gt;</code> 文本也会被清理。</p>
<h2 id="m5-全量-110-条验收">M5 全量 110 条验收</h2>
<p>最终使用同一批 110 条 held-out test 完成生成、DeepSeek 评分和结构化 JSON 报告。</p>
<p>汇总结果：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">total:        110
</span></span><span class="line"><span class="cl">valid_scores: 110
</span></span><span class="line"><span class="cl">mean:         30.9
</span></span><span class="line"><span class="cl">median:       0
</span></span><span class="line"><span class="cl">min / max:    0 / 100
</span></span><span class="line"><span class="cl">p10 / p90:    0 / 100
</span></span></code></pre></div><p>分数分布：</p>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th>分数区间</th>
        <th style="text-align: right">数量</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td>0</td>
        <td style="text-align: right">60</td>
      </tr>
      <tr>
        <td>1～20</td>
        <td style="text-align: right">4</td>
      </tr>
      <tr>
        <td>21～40</td>
        <td style="text-align: right">12</td>
      </tr>
      <tr>
        <td>41～60</td>
        <td style="text-align: right">9</td>
      </tr>
      <tr>
        <td>61～80</td>
        <td style="text-align: right">2</td>
      </tr>
      <tr>
        <td>81～100</td>
        <td style="text-align: right">23</td>
      </tr>
    </tbody>
  </table>
</div>
<p>均分 30.9 与此前 31.2 基线接近；中位数为 0，说明回答仍然明显两极分化。这个分数用于记录当前 SFT 模型行为，不用于证明模型能力突然提升。</p>
<p>报告文件：<code>data/instruct/m5-report-sft-110.json</code>，包含完整汇总与逐题明细，不再只把统计打印到终端。</p>
<h2 id="相关回归与-m5-收官">相关回归与 M5 收官</h2>
<p>相关回归共 <strong>17 passed</strong>，覆盖：</p>
<ul>
<li>旧 GPTModel 前向与生成；</li>
<li>checkpoint 保存和恢复；</li>
<li>RoPE 数学性质与 cache 对齐；</li>
<li>选择题、选项打乱和完整答案似然；</li>
<li>评分解析、统计及 JSON 报告。</li>
</ul>
<p>110 条全量报告不需要为了回归重复调用 DeepSeek；代码回归与全量评估分别验收。</p>
<p>至此，M5 的选择题评估、自由生成评分、断点续跑、结构化报告和相关回归均已完成。后续权重空间编程实验独立记录在<a href="https://blog.lvxinrong.com/llm/llm-15-weight-space-arithmetic/">笔记 15</a>，不作为 M5 的阻塞项。</p>
]]></content:encoded>
    </item>
  </channel>
</rss>
