<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>I3番外 on 吕炘嵘的博客</title>
    <link>https://blog.lvxinrong.com/tags/i3%E7%95%AA%E5%A4%96/</link>
    <description>Recent content in I3番外 on 吕炘嵘的博客</description>
    <image>
      <title>吕炘嵘的博客</title>
      <url>https://blog.lvxinrong.com/og-default.jpg</url>
      
      <link>https://blog.lvxinrong.com/tags/i3%E7%95%AA%E5%A4%96/</link>
    </image>
    <generator>Hugo</generator>
    <language>zh-CN</language>
    <lastBuildDate>Thu, 12 Nov 2026 00:00:00 +0000</lastBuildDate>
    <atom:link href="https://blog.lvxinrong.com/tags/i3%E7%95%AA%E5%A4%96/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>手搓 LLM 笔记 22：Qwen3 兼容性</title>
      <link>https://blog.lvxinrong.com/llm/llm-22-qwen3-compatibility/</link>
      <pubDate>Thu, 12 Nov 2026 00:00:00 +0000</pubDate>
      <guid>https://blog.lvxinrong.com/llm/llm-22-qwen3-compatibility/</guid>
      <description>从 config 与 safetensors 审计出发，从零实现隔离的 V4 / Qwen3-0.6B，完成官方前向、cache decode、固定生成和本地对话验收，并复盘流式渲染、增量解码与 token 上限问题。</description>
      <content:encoded><![CDATA[<p>这篇是 I3 的独立番外，起点不是“再写一个模型”，而是一个可复用的问题：<strong>面对一个陌生模型，怎样判断当前代码能否加载、能否正确前向、还缺哪些能力？</strong></p>
<p>当前真实状态是：V3 继续作为 Qwen2.5-0.5B / 0.5B-Instruct 的稳定对照；独立实现的 V4 已承接 Qwen3-0.6B，并通过官方前向、连续 cache decode、固定生成和本地对话验收。本文保留从兼容性审计到流式对话排障的完整过程，不把单个模型与受控环境的结果扩大为全系列支持。</p>
<h2 id="一为什么先学兼容性审计">一、为什么先学兼容性审计</h2>
<p><code>config.json</code> 是了解模型的第一入口，但“有 config”不等于“可以直接加载”。完整的判断链路是：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">模型家族与 config
</span></span><span class="line"><span class="cl">→ 权重键、形状和分片
</span></span><span class="line"><span class="cl">→ 官方 forward 的计算语义
</span></span><span class="line"><span class="cl">→ 配置与权重映射
</span></span><span class="line"><span class="cl">→ 官方 logits 对照
</span></span><span class="line"><span class="cl">→ cache decode 与固定生成验收
</span></span></code></pre></div><p>这套方法以后面对 Llama、Mistral 或其他模型也适用，不只服务 Qwen3。</p>
<h2 id="二qwen3-06b-的配置地图">二、Qwen3-0.6B 的配置地图</h2>
<p>当前目标模型的关键配置是：</p>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th>配置</th>
        <th style="text-align: right">当前值</th>
        <th>对我们意味着什么</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td><code>model_type</code></td>
        <td style="text-align: right"><code>qwen3</code></td>
        <td>不是当前已验证的 Qwen2.5 家族</td>
      </tr>
      <tr>
        <td><code>vocab_size</code></td>
        <td style="text-align: right">151936</td>
        <td>与当前 Qwen2.5 词表一致</td>
      </tr>
      <tr>
        <td><code>hidden_size</code></td>
        <td style="text-align: right">1024</td>
        <td>对应我们的 <code>emb_dim</code></td>
      </tr>
      <tr>
        <td><code>intermediate_size</code></td>
        <td style="text-align: right">3072</td>
        <td>对应我们的 <code>ffn_dim</code></td>
      </tr>
      <tr>
        <td><code>num_hidden_layers</code></td>
        <td style="text-align: right">28</td>
        <td>28 个 Transformer Block</td>
      </tr>
      <tr>
        <td><code>num_attention_heads</code></td>
        <td style="text-align: right">16</td>
        <td>16 个 Q heads</td>
      </tr>
      <tr>
        <td><code>num_key_value_heads</code></td>
        <td style="text-align: right">8</td>
        <td>8 个 KV heads，使用 GQA</td>
      </tr>
      <tr>
        <td><code>head_dim</code></td>
        <td style="text-align: right">128</td>
        <td>每个 attention head 的维度</td>
      </tr>
      <tr>
        <td><code>rope_theta</code></td>
        <td style="text-align: right">1000000</td>
        <td>与当前 Qwen2.5 配置一致</td>
      </tr>
      <tr>
        <td><code>rms_norm_eps</code></td>
        <td style="text-align: right">1e-6</td>
        <td>RMSNorm 的 epsilon</td>
      </tr>
      <tr>
        <td><code>attention_bias</code></td>
        <td style="text-align: right">false</td>
        <td>Q/K/V 等投影不使用 bias</td>
      </tr>
      <tr>
        <td><code>tie_word_embeddings</code></td>
        <td style="text-align: right">true</td>
        <td>embedding 与输出头共享权重</td>
      </tr>
      <tr>
        <td><code>max_position_embeddings</code></td>
        <td style="text-align: right">40960</td>
        <td>配置允许的位置范围，不等于本轮实际上下文</td>
      </tr>
      <tr>
        <td><code>use_sliding_window</code></td>
        <td style="text-align: right">false</td>
        <td>当前最小目标不需要 sliding attention</td>
      </tr>
      <tr>
        <td><code>hidden_act</code></td>
        <td style="text-align: right"><code>silu</code></td>
        <td>FFN 的 gate 分支使用 SiLU，与当前实现一致</td>
      </tr>
    </tbody>
  </table>
</div>
<p>其中最容易被直接套公式误导的是：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">hidden_size = 1024
</span></span><span class="line"><span class="cl">num_attention_heads = 16
</span></span><span class="line"><span class="cl">head_dim = 128
</span></span></code></pre></div><p>当前 v3 使用 <code>emb_dim / n_heads</code>，会得到 64，而 Qwen3 真实配置要求 128。因此 V4 必须允许 <code>head_dim</code> 与 <code>emb_dim</code> 解耦，不能只改配置数字。</p>
<p>另外，官方 Qwen3 forward 中还存在 <strong>QK RMSNorm</strong>：Q/K 投影后、RoPE 前分别归一化。这个结构差异不能只靠 config 猜，需要同时阅读官方实现和实际权重键。</p>
<h2 id="三v3-与-v4-必须完全隔离">三、V3 与 V4 必须完全隔离</h2>
<p>为了保留稳定的 Qwen2.5 对照实现，约定：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">src/squid/model/v3_modern/    保持现状
</span></span><span class="line"><span class="cl">src/squid/model/v4_qwen3/     V4 独立结构、RoPE、归一化和 attention
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl">src/squid/checkpoints/qwen.py   V3 / Qwen2.5 加载器
</span></span><span class="line"><span class="cl">src/squid/checkpoints/qwen3.py  V4 / Qwen3 独立加载器
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl">tests/test_qwen/   V3 回归
</span></span><span class="line"><span class="cl">tests/test_qwen3/  V4 独立验收
</span></span></code></pre></div><p>V4 最终没有复制或引用 V3 的模型实现，而是把 RMSNorm、SwiGLU、RoPE、Attention、TransformerBlock 和 GPTModel 重新写了一遍。这样每个版本都必须亲自过一遍，理解架构差异，而不是把“复用”误当成“掌握”；封板之后的工程复用是另一阶段的问题。RMSNorm 保留 FP32 累积、输入输出 dtype 一致的修复，避免重新引入 FP16 平方溢出。</p>
<p>公共 device、tokenizer 协议和报告工具可以复用；模型结构、权重映射和验收保持隔离。</p>
<h2 id="四兼容性审计清单">四、兼容性审计清单</h2>
<p>面对一个新模型时，按以下顺序判断：</p>
<ol>
<li><strong>模型家族</strong>：<code>model_type</code>、<code>architectures</code> 是否属于当前支持范围；</li>
<li><strong>结构配置</strong>：hidden size、层数、heads、KV heads、head_dim、RoPE、bias、权重绑定；</li>
<li><strong>权重键</strong>：是否存在当前映射无法处理的键，是否有独立 <code>lm_head.weight</code>；</li>
<li><strong>张量形状</strong>：权重形状是否与配置一致；</li>
<li><strong>checkpoint 形式</strong>：单文件还是多分片，格式是否可读取；</li>
<li><strong>tokenizer</strong>：词表、EOS / BOS、chat template 和特殊 token；</li>
<li><strong>官方语义</strong>：norm、RoPE、掩码、残差与输出头是否一致；</li>
<li><strong>数值验收</strong>：官方 logits、prefill、cache decode 和固定生成对照。</li>
</ol>
<p>需要区分三个层级：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">能加载权重
</span></span><span class="line"><span class="cl">≠ 能正确前向
</span></span><span class="line"><span class="cl">≠ 能正确对话
</span></span></code></pre></div><h2 id="五modelv4-的最小目标">五、ModelV4 的最小目标</h2>
<p>第一版只做：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">显式 head_dim
</span></span><span class="line"><span class="cl">+ QK RMSNorm
</span></span><span class="line"><span class="cl">+ Qwen3 配置与权重映射
</span></span><span class="line"><span class="cl">+ V3 / V4 完全隔离
</span></span></code></pre></div><p>最小验收模型为 <strong>Qwen3-0.6B Dense</strong>。暂不承诺：</p>
<ul>
<li>Qwen3 全系列；</li>
<li>Qwen3 MoE；</li>
<li>GGUF / NVFP4；</li>
<li>27B 模型加载；</li>
<li>尚未执行的下载、前向或硬件验证结果。</li>
</ul>
<h2 id="六前一晚的停止边界">六、前一晚的停止边界</h2>
<p>前一晚先读懂 <code>config.json</code>、兼容性审计顺序和 V3 / V4 的隔离原则，没有立即开始 V4 实现。</p>
<p>不熬夜，不通宵。结构实现、权重键审计和官方数值对照留给后续学习日；后面的章节记录这些工作的实际完成情况。</p>
<h3 id="1--qwen3-06b-configjson">1.  Qwen3-0.6B config.json</h3>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-json" data-lang="json"><span class="line"><span class="cl"><span class="p">{</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;architectures&#34;</span><span class="p">:</span> <span class="p">[</span>  
</span></span><span class="line"><span class="cl">    <span class="s2">&#34;Qwen3ForCausalLM&#34;</span>  
</span></span><span class="line"><span class="cl">  <span class="p">],</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;attention_bias&#34;</span><span class="p">:</span> <span class="kc">false</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;attention_dropout&#34;</span><span class="p">:</span> <span class="mf">0.0</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;bos_token_id&#34;</span><span class="p">:</span> <span class="mi">151643</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;eos_token_id&#34;</span><span class="p">:</span> <span class="mi">151645</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;head_dim&#34;</span><span class="p">:</span> <span class="mi">128</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;hidden_act&#34;</span><span class="p">:</span> <span class="s2">&#34;silu&#34;</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;hidden_size&#34;</span><span class="p">:</span> <span class="mi">1024</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;initializer_range&#34;</span><span class="p">:</span> <span class="mf">0.02</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;intermediate_size&#34;</span><span class="p">:</span> <span class="mi">3072</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;max_position_embeddings&#34;</span><span class="p">:</span> <span class="mi">40960</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;max_window_layers&#34;</span><span class="p">:</span> <span class="mi">28</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;model_type&#34;</span><span class="p">:</span> <span class="s2">&#34;qwen3&#34;</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;num_attention_heads&#34;</span><span class="p">:</span> <span class="mi">16</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;num_hidden_layers&#34;</span><span class="p">:</span> <span class="mi">28</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;num_key_value_heads&#34;</span><span class="p">:</span> <span class="mi">8</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;rms_norm_eps&#34;</span><span class="p">:</span> <span class="mf">1e-06</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;rope_scaling&#34;</span><span class="p">:</span> <span class="kc">null</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;rope_theta&#34;</span><span class="p">:</span> <span class="mi">1000000</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;sliding_window&#34;</span><span class="p">:</span> <span class="kc">null</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;tie_word_embeddings&#34;</span><span class="p">:</span> <span class="kc">true</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;torch_dtype&#34;</span><span class="p">:</span> <span class="s2">&#34;bfloat16&#34;</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;transformers_version&#34;</span><span class="p">:</span> <span class="s2">&#34;4.51.0&#34;</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;use_cache&#34;</span><span class="p">:</span> <span class="kc">true</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;use_sliding_window&#34;</span><span class="p">:</span> <span class="kc">false</span><span class="p">,</span>  
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;vocab_size&#34;</span><span class="p">:</span> <span class="mi">151936</span>  
</span></span><span class="line"><span class="cl"><span class="p">}</span>
</span></span></code></pre></div><p>逐项解读</p>
<p><code>&quot;architectures&quot;: [ &quot;Qwen3ForCausalLM&quot; ]</code>
<code>architectures</code> 的作用是告诉 Hugging Face Transformers 库：加载这个模型时应该实例化哪个 Python 类。这里就是 <code>Qwen3ForCausalLM</code> 这个类。</p>
<p><code>&quot;attention_bias&quot;: false, </code>
注意力层QKV线性投影是否带偏置项</p>
<p><code>&quot;attention_dropout&quot;: 0.0</code>
注意力att层中，用于控制 softmax(att_scores) 之后的dropout的比例。 <code>attn_weights = self.dropout(attn_weights)</code></p>
<p><code>&quot;bos_token_id&quot;: 151643, &quot;eos_token_id&quot;: 151645, </code>
bos  Beginning of Sequence 放在输入开头，告诉模型“文本从这里开始”
eos End of Sequence  模型生成到这个 token 时停止输出</p>
<p><code>&quot;head_dim&quot;: 128,</code>
多头注意力机制下每个头的emb_dim</p>
<p><code>&quot;hidden_act&quot;: &quot;silu&quot;,</code>
FFN 前馈神经网络中 用到的激活函数 FFN中声明了act  <code>self.act = nn.SiLU()</code></p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="s2">&#34;&#34;&#34;  
</span></span></span><span class="line"><span class="cl"><span class="s2">y = down_proj( SiLU(gate_proj(x)) * up_proj(x) )  
</span></span></span><span class="line"><span class="cl"><span class="s2">gate_proj门控信号，SiLU 之后才形成实际的连续开度。  
</span></span></span><span class="line"><span class="cl"><span class="s2">up_proj 升维后的x (B, T, emb_dim) -&gt; (B, T, hidden_dim)  hidden_dim 默认是emb_dim的3倍  
</span></span></span><span class="line"><span class="cl"><span class="s2">down_proj 降维回 (B, T, hidden_dim) -&gt; (B, T, emb_dim)  
</span></span></span><span class="line"><span class="cl"><span class="s2">SwiGLUFFN 相比较之前的 FeedForward 核心是多了一个门阀矩阵。  
</span></span></span><span class="line"><span class="cl"><span class="s2">按照我的理解，这个门阀矩阵是类似一个电阻的装置，允许电流通过大小，也就是hidden_dim每个维度允许通过多少  
</span></span></span><span class="line"><span class="cl"><span class="s2">  
</span></span></span><span class="line"><span class="cl"><span class="s2">但是核心原理和FeedForward不变，依然是在token经过attention 输出后的每个 token 的隐藏表示 做逐位置变换  
</span></span></span><span class="line"><span class="cl"><span class="s2">再更高维度对自身的隐藏表示进行编辑。  
</span></span></span><span class="line"><span class="cl"><span class="s2">阀门也就是在维度升高之后，增加了一个可以由模型自行通过学习修改阀门流量的开关。可以决定这些信息哪些值得保留，放大或者压下去。  
</span></span></span><span class="line"><span class="cl"><span class="s2">SwiGLU FFN 在升维后，是用 gate_proj 单独生成一路门控信号，经 SiLU 变成每个 hidden 维度的连续开度，再与 up_proj 的内容逐元素相乘。这个开度可学习、可大于 1、可接近 0、也可为负，因此模型能逐维度决定信息保留、放大、压制甚至反向。  
</span></span></span><span class="line"><span class="cl"><span class="s2">&#34;&#34;&#34;</span>  
</span></span><span class="line"><span class="cl"><span class="k">def</span> <span class="nf">forward</span><span class="p">(</span><span class="bp">self</span><span class="p">,</span> <span class="n">x</span><span class="p">):</span>  
</span></span><span class="line"><span class="cl">    <span class="k">return</span> <span class="bp">self</span><span class="o">.</span><span class="n">down_proj</span><span class="p">(</span>  
</span></span><span class="line"><span class="cl">        <span class="bp">self</span><span class="o">.</span><span class="n">act</span><span class="p">(</span><span class="bp">self</span><span class="o">.</span><span class="n">gate_proj</span><span class="p">(</span><span class="n">x</span><span class="p">))</span> <span class="o">*</span> <span class="bp">self</span><span class="o">.</span><span class="n">up_proj</span><span class="p">(</span><span class="n">x</span><span class="p">)</span>  
</span></span><span class="line"><span class="cl">    <span class="p">)</span>
</span></span></code></pre></div><p><code>&quot;hidden_size&quot;: 1024</code>
其实就是emb_dim 但是Qwen3的设计上，说是<code>让注意力头的维度独立于隐藏层大小，调参更灵活</code>
那原本16个头，每个头dim是128 一共是 2048。那我猜测输入可能是 2048 然后输出的时候，在out_proj的声明上，可以是 (2048, 1024) 就可以实现降维。</p>
<p><code>&quot;initializer_range&quot;: 0.02,</code>
权重初始化时用的<strong>正态分布标准差</strong>。模型创建时，所有线性层和 embedding 的权重按 <code>N(0, 0.02)</code> 随机初始化</p>
<p><code>intermediate_size&quot;: 3072</code>
FFN中升维的维度，那Qwen3 看起来就是 1024 -&gt; 3072 -&gt; 1024了</p>
<p><code>&quot;max_position_embeddings&quot;: 40960,</code>
这个不是指位置编码(RoPE是相对位置，没有max一说)
<code>max_position_embeddings</code> 在 RoPE 模型里含义变了:  <strong>模型支持的最大序列长度</strong>(也就是经常看到的模型上下文大小) 所以这个模型上下文大小就是40K</p>
<p><code>&quot;max_window_layers&quot;: 28, </code>
滑动窗口注意力（Sliding Window Attention）目前还没有学到，相关的配置是 <code>&quot;sliding_window&quot;: null,</code>  <code>use_sliding_window</code> 就是滑动窗口的总开关</p>
<p><code>&quot;num_attention_heads&quot;: 16,</code>
多头注意力机制中头的数量，因为GQA的架构中 KV的头是少于Q的，所以这里也就特指Q_head_nums</p>
<p><code>&quot;num_hidden_layers&quot;: 28, &quot;</code>
LLM中一共有多少层 trf_block (一个trf_block 包含1个att和一个ffn)</p>
<p><code>&quot;num_key_value_heads&quot;: 8, </code>
多头注意力机制中 KV的头数量，一般小于Q的头数量。等于 Q 头数时就是标准 MHA，等于 1 时是 MQA（Multi-Query Attention），介于两者之间就是 GQA。</p>
<p><code>&quot;rms_norm_eps&quot;: 1e-06,</code>
RMSNorm中防止除0用的，一般设置的会很小 <code>eps=1e-6</code> 防止分母为 0，纯数值稳定性用途，不影响模型表达能力。</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="k">def</span> <span class="nf">forward</span><span class="p">(</span><span class="bp">self</span><span class="p">,</span> <span class="n">x</span><span class="p">):</span>  
</span></span><span class="line"><span class="cl">    <span class="n">input_dtype</span> <span class="o">=</span> <span class="n">x</span><span class="o">.</span><span class="n">dtype</span>  
</span></span><span class="line"><span class="cl">    <span class="n">x_float</span> <span class="o">=</span> <span class="n">x</span><span class="o">.</span><span class="n">float</span><span class="p">()</span>  
</span></span><span class="line"><span class="cl">    <span class="n">mean_square</span> <span class="o">=</span> <span class="n">x_float</span><span class="o">.</span><span class="n">pow</span><span class="p">(</span><span class="mi">2</span><span class="p">)</span><span class="o">.</span><span class="n">mean</span><span class="p">(</span><span class="n">dim</span> <span class="o">=</span> <span class="o">-</span><span class="mi">1</span><span class="p">,</span> <span class="n">keepdim</span> <span class="o">=</span> <span class="kc">True</span><span class="p">)</span>  
</span></span><span class="line"><span class="cl">    <span class="c1"># 就在这里使用</span>
</span></span><span class="line"><span class="cl">    <span class="n">y</span> <span class="o">=</span> <span class="n">x_float</span> <span class="o">*</span> <span class="n">torch</span><span class="o">.</span><span class="n">rsqrt</span><span class="p">(</span><span class="n">mean_square</span> <span class="o">+</span> <span class="bp">self</span><span class="o">.</span><span class="n">eps</span><span class="p">)</span> <span class="o">*</span> <span class="bp">self</span><span class="o">.</span><span class="n">scale</span><span class="o">.</span><span class="n">float</span><span class="p">()</span>  
</span></span><span class="line"><span class="cl">    <span class="k">return</span> <span class="n">y</span><span class="o">.</span><span class="n">to</span><span class="p">(</span><span class="n">dtype</span><span class="o">=</span><span class="n">input_dtype</span><span class="p">)</span>
</span></span></code></pre></div><p>torch.rsqrt(mean_square + self.eps)  等价于 1 / sqrt(mean(x²) + eps)</p>
<p><code>&quot;rope_theta&quot;: 1000000,</code>
<code>rope_theta</code> 是计算各维度旋转频率的<strong>底数（base）</strong></p>
<pre tabindex="0"><code>第 i 对维度的频率: θ_i = 1 / (rope_theta^(2i/d))
位置 m 的旋转角度: m × θ_i
</code></pre><p>所以 rope_theta 越大 → 各维度频率越低 → 每步旋转角度越小 → 相邻位置的区分度更“细腻”，影响位置频率分布与长距离行为</p>
<p><code>&quot;tie_word_embeddings&quot;: true,</code>
输入 embedding（token → 向量）和输出 lm_head（向量 → vocab logits）共用同一个权重矩阵（互为转置）
对小模型来说可以节约参数。当前模型可以节约 vocab_size × hidden_size 151936 × 1024 大概 1.55亿参数量</p>
<p><code>&quot;torch_dtype&quot;:&quot;bfloat16&quot; </code>
torch加载权重使用的精度类型，看起来是BF16(BF16 指数位多，<strong>尾数位少</strong>，所以可表达的数据范围大，但精度低) 动态范围和 FP32 一样大</p>
<p><code>&quot;use_cache&quot;: true,</code>
开启kv cache的开关</p>
<p><code>&quot;vocab_size&quot;: 151936</code>
词表大小</p>
<h2 id="七权重审计从文件不可直接阅读到可复用检查能力">七、权重审计：从“文件不可直接阅读”到可复用检查能力</h2>
<p>Safetensors 是二进制格式，不能像 Markdown 或 JSON 一样直接阅读。但这个能力不应该只停留在某次 Qwen3 实验的临时命令里，因此新增：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">src/squid/checkpoints/inspect.py
</span></span></code></pre></div><p><code>inspect_safetensors()</code> 使用 <code>safe_open()</code> 读取：</p>
<ul>
<li>权重键名称；</li>
<li>张量形状；</li>
<li>dtype；</li>
<li>元素数量；</li>
<li>文件字节数与权重键总数。</li>
</ul>
<p>它只读取元数据，不加载完整模型权重，适用于后续其他模型的兼容性审计。用户已添加最小回归并实际运行，结果为 <strong>1 passed</strong>。</p>
<h3 id="1-qwen3-06b-的真实权重证据">1. Qwen3-0.6B 的真实权重证据</h3>
<p>当前本地 Qwen3-0.6B 文件：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">文件大小：1,503,300,328 bytes
</span></span><span class="line"><span class="cl">权重键数量：311
</span></span><span class="line"><span class="cl">文件中的总元素数：751,632,384
</span></span><span class="line"><span class="cl">主要 dtype：BF16
</span></span></code></pre></div><p>第 0 层的真实形状为：</p>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th>权重</th>
        <th>形状</th>
        <th>结构含义</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td><code>q_proj.weight</code></td>
        <td><code>[2048, 1024]</code></td>
        <td>16 个 Q heads × 128 head_dim</td>
      </tr>
      <tr>
        <td><code>k_proj.weight</code></td>
        <td><code>[1024, 1024]</code></td>
        <td>8 个 KV heads × 128 head_dim</td>
      </tr>
      <tr>
        <td><code>v_proj.weight</code></td>
        <td><code>[1024, 1024]</code></td>
        <td>与 K 对称</td>
      </tr>
      <tr>
        <td><code>o_proj.weight</code></td>
        <td><code>[1024, 2048]</code></td>
        <td>将 2048 维 attention 结果降回 1024 维隐藏状态</td>
      </tr>
      <tr>
        <td><code>q_norm.weight</code></td>
        <td><code>[128]</code></td>
        <td>每个 head 内部的 Q 归一化</td>
      </tr>
      <tr>
        <td><code>k_norm.weight</code></td>
        <td><code>[128]</code></td>
        <td>每个 head 内部的 K 归一化</td>
      </tr>
      <tr>
        <td><code>input_layernorm.weight</code></td>
        <td><code>[1024]</code></td>
        <td>隐藏状态归一化</td>
      </tr>
      <tr>
        <td><code>post_attention_layernorm.weight</code></td>
        <td><code>[1024]</code></td>
        <td>隐藏状态归一化</td>
      </tr>
    </tbody>
  </table>
</div>
<p>这与 config 中 <code>hidden_size=1024</code>、<code>head_dim=128</code> 相互印证：<strong>head_dim 不再由 hidden_size / heads 自动得到，Q/K/V 与输出投影的形状都围绕显式 head_dim 组织。</strong></p>
<h3 id="2-一个不能靠-config-猜测的-lm_head-细节">2. 一个不能靠 config 猜测的 lm_head 细节</h3>
<p>配置中写着：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-json" data-lang="json"><span class="line"><span class="cl"><span class="s2">&#34;tie_word_embeddings&#34;</span><span class="err">:</span> <span class="kc">true</span>
</span></span></code></pre></div><p>第一版探针因此假设文件里不会有独立 <code>lm_head.weight</code>，结果实际检查为：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">no_independent_lm_head = false
</span></span></code></pre></div><p>也就是说，文件中同时存在：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">model.embed_tokens.weight
</span></span><span class="line"><span class="cl">lm_head.weight
</span></span></code></pre></div><p>这时不能直接忽略 <code>lm_head.weight</code>。正确做法是先比较两份实际权重，再决定是否去重。</p>
<p>用户实际加载并比较后得到：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">embedding：shape=[151936, 1024]，dtype=BF16
</span></span><span class="line"><span class="cl">lm_head：  shape=[151936, 1024]，dtype=BF16
</span></span><span class="line"><span class="cl">torch.equal(...) = True
</span></span><span class="line"><span class="cl">最大绝对差 = 0.0
</span></span></code></pre></div><p>因此可以确认：checkpoint 虽然重复保存了输出头，但两份权重完全相同。V4 在加载后使用一份共享参数是安全的。</p>
<p>去掉这份重复输出头后：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">751,632,384 - 155,582,464 = 596,049,920
</span></span></code></pre></div><p>约为 <strong>5.96 亿元素</strong>，与 0.6B 的模型命名数量级一致。这也说明模型名称、文件大小和实际加载后的独立参数量不能直接画等号。</p>
<h3 id="3-当前兼容性坐标">3. 当前兼容性坐标</h3>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th>能力</th>
        <th>当前判断</th>
        <th>验收或边界</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td>配置字段映射</td>
        <td>V4 已独立实现</td>
        <td>由官方前向与生成对照验收</td>
      </tr>
      <tr>
        <td>显式 head_dim</td>
        <td>V4 已新增</td>
        <td><code>head_dim=128</code>，不再用 <code>hidden_size / heads</code> 推导</td>
      </tr>
      <tr>
        <td>QK RMSNorm</td>
        <td>V4 已新增并映射权重</td>
        <td>投影后、RoPE 前执行</td>
      </tr>
      <tr>
        <td>attention_bias=false</td>
        <td>已进入 V4 配置</td>
        <td>不沿用 Qwen2.5 的 QKV bias</td>
      </tr>
      <tr>
        <td>embedding / lm_head 共享</td>
        <td>两份实际权重已证明相等</td>
        <td>加载后只保留一份共享参数</td>
      </tr>
      <tr>
        <td>Sliding attention</td>
        <td>当前模型未启用</td>
        <td>最小 V4 不实现</td>
      </tr>
      <tr>
        <td>BF16</td>
        <td>已有支持</td>
        <td>保留 RMSNorm FP32 累积修复</td>
      </tr>
      <tr>
        <td>正确前向 / 对话</td>
        <td>已在当前受控条件通过</td>
        <td>见第八、九节；不扩大为全系列支持</td>
      </tr>
    </tbody>
  </table>
</div>
<p>早期总兼容性探针曾因独立 <code>lm_head</code> 的假设返回 <code>all_metadata_checks_passed=false</code>；随后的真实权重比较与 V4 官方对照已经关闭这个疑问，不把早期探针状态误写成当前失败状态。</p>
<p>这次最值得保留的经验是：</p>
<blockquote>
<p><strong>Config 描述的是模型的结构意图，checkpoint 则决定实际如何存储。两者出现表面不一致时，不直接忽略字段，也不立即判定模型异常，而是用真实权重形状和数值证明是否可以安全映射。</strong></p>
</blockquote>
<h2 id="八v4-官方数值与生成验收通过">八、V4 官方数值与生成验收通过</h2>
<p>ModelV4 从零实现了 RMSNorm、SwiGLU FFN、RoPE、Qwen3Attention、TransformerBlock 和 GPTModelV4，没有复制或引用 V3 的模型实现。独立加载器使用 <code>checkpoints/qwen3.py</code>，测试位于 <code>tests/test_qwen3/</code>。</p>
<h3 id="1-真实权重前向对照">1. 真实权重前向对照</h3>
<p>使用本地 Qwen3-0.6B、CPU、FP32、固定英文 prompt：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">V4 输出形状：     (1, 6, 151936)
</span></span><span class="line"><span class="cl">官方输出形状：    (1, 6, 151936)
</span></span><span class="line"><span class="cl">最大 logit 差异：4.1008e-05
</span></span><span class="line"><span class="cl">平均 logit 差异：4.3524e-06
</span></span><span class="line"><span class="cl">allclose(1e-4)： true
</span></span><span class="line"><span class="cl">top-1 一致：     true
</span></span><span class="line"><span class="cl">全部有限：       true
</span></span></code></pre></div><p>这验证了显式 head_dim、QK RMSNorm、GQA、RoPE、权重共享和独立映射在当前受控条件下成立。</p>
<h3 id="2-连续-cache-decode">2. 连续 cache decode</h3>
<p>V4 与官方连续执行三次单 token cache decode：</p>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th>Step</th>
        <th style="text-align: right">V4 token</th>
        <th style="text-align: right">官方 token</th>
        <th>是否一致</th>
        <th>allclose(1e-4)</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td>1</td>
        <td style="text-align: right">264</td>
        <td style="text-align: right">264</td>
        <td>是</td>
        <td>是</td>
      </tr>
      <tr>
        <td>2</td>
        <td style="text-align: right">8544</td>
        <td style="text-align: right">8544</td>
        <td>是</td>
        <td>是</td>
      </tr>
      <tr>
        <td>3</td>
        <td style="text-align: right">429</td>
        <td style="text-align: right">429</td>
        <td>是</td>
        <td>是</td>
      </tr>
    </tbody>
  </table>
</div>
<h3 id="3-固定贪心生成">3. 固定贪心生成</h3>
<p>两边固定生成 8 个 token：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">V4：    264, 8544, 429, 702, 40444, 23839, 11004, 323
</span></span><span class="line"><span class="cl">官方：  264, 8544, 429, 702, 40444, 23839, 11004, 323
</span></span></code></pre></div><p>生成长度、token IDs 和文本均完全一致：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">a topic that has sparked considerable debate and
</span></span></code></pre></div><p>因此当前最小目标可以正式验收：<strong>V4 不只是能加载 Qwen3 权重，还能在 CPU / FP32 / eager 下完成正确的 prefill、连续 cache decode 和固定贪心生成。</strong></p>
<p>这组数值结论仍限定于当前输入、CPU / FP32 / eager，不扩大为所有设备、dtype 或 Qwen3 全系列均已通过；chat template 与 thinking 的本地对话验收另见第九节。MoE 与其他模型格式不在本次验收范围内。</p>
<h2 id="九qwen3-对话服务思考开关与思考区分离">九、Qwen3 对话服务：思考开关与思考区分离</h2>
<p>V4 数值验收通过后，<code>chat_server</code> 与 Web UI 已从 V3 / Qwen2.5-0.5B 切换到 V4 / Qwen3-0.6B。当前使用的是 <code>Qwen/Qwen3-0.6B</code> 后训练对话模型，不是 <code>Qwen3-0.6B-Base</code>。</p>
<h3 id="1-思考模式真正进入模板">1. 思考模式真正进入模板</h3>
<p><code>build_qwen_chat_prompt()</code> 新增可选的 <code>enable_thinking</code> 参数，服务端将页面开关随请求传入：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">enable_thinking=true
</span></span><span class="line"><span class="cl">→ 使用 Qwen3 默认的 thinking 生成路径
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl">enable_thinking=false
</span></span><span class="line"><span class="cl">→ chat template 加入空的 &lt;think&gt;...&lt;/think&gt; 区域，引导模型直接回答
</span></span></code></pre></div><p>该参数是模板控制，不是 V4 新增了一套推理算法。V4 负责执行模型，模型负责是否生成思考内容。</p>
<p>模板 stub 测试与流式、会话相关测试合计 <strong>13 passed</strong>，JavaScript 语法检查通过。</p>
<h3 id="2-页面将思考与正式回答分离">2. 页面将思考与正式回答分离</h3>
<p>新增 <code>&lt;details&gt;</code> 思考区：</p>
<ul>
<li>标题为“思考过程”；</li>
<li>默认折叠，点击可展开；</li>
<li>流式过程中可以展开观察；</li>
<li>正式回答使用独立区域，不再把 <code>&lt;think&gt;</code> 当普通正文；</li>
<li>历史恢复与多会话切换继续使用同一套分离渲染；</li>
<li>页面底部新增“思考模式”复选框，生成时禁用切换，避免请求中途改变模板状态。</li>
</ul>
<h3 id="3-真实浏览器验收">3. 真实浏览器验收</h3>
<p>开启思考模式，输入 <code>2+2 等于几？</code>：</p>
<ul>
<li>页面出现可折叠的“思考过程”；</li>
<li>思考区与正式回答分离；</li>
<li>正式答案为“2加2等于4。”；</li>
<li>折叠与展开均正常；</li>
<li>SSE 流式状态、TURN 计数和会话列表正常。</li>
</ul>
<p>关闭思考模式并新建会话，输入 <code>3+3 等于几？</code>：</p>
<ul>
<li>没有思考区；</li>
<li>直接返回“3 + 3 等于 6。”；</li>
<li>新建会话与流式输出仍正常。</li>
</ul>
<p>当时观察到回答中偶尔出现 ``，尚未完成归因。后续对照服务端历史与流式页面，才确认其中至少有一类来自增量解码，而不是模型真的输出了乱码；详细定位见第十节。</p>
<h2 id="十流式对话排障顺序增量解码与生成预算">十、流式对话排障：顺序、增量解码与生成预算</h2>
<p>对话页面接通以后，真正暴露的问题不再只是模型结构，而是<strong>连续事件如何被转换成稳定的用户界面</strong>。今天修复了三个不同层级的问题，它们表面上都像“页面显示不对”，实际根因完全不同。</p>
<h3 id="1-思考过程为什么跑到正文下面">1. 思考过程为什么跑到正文下面</h3>
<p>流式渲染函数分别维护 <code>.thinking-details</code> 和 <code>.assistant-answer</code>。旧逻辑在思考节点不存在时直接 <code>appendChild(details)</code>：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">正文节点先创建
</span></span><span class="line"><span class="cl">→ 思考节点随后出现
</span></span><span class="line"><span class="cl">→ appendChild 把思考节点追加到正文后面
</span></span></code></pre></div><p>这解释了为什么思考结束后，正文开始生成，思考区反而位于正文下方。修复不是调整 CSS，而是明确 DOM 顺序：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-javascript" data-lang="javascript"><span class="line"><span class="cl"><span class="nx">container</span><span class="p">.</span><span class="nx">insertBefore</span><span class="p">(</span>
</span></span><span class="line"><span class="cl">  <span class="nx">details</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">  <span class="nx">container</span><span class="p">.</span><span class="nx">querySelector</span><span class="p">(</span><span class="s1">&#39;.assistant-answer&#39;</span><span class="p">),</span>
</span></span><span class="line"><span class="cl"><span class="p">);</span>
</span></span></code></pre></div><p>即使正文节点先生成，思考区也始终插入正文之前。使用“你好，请介绍一下 LLM 中的注意力机制”做真实浏览器验收，确认<strong>正文流式生成过程中和生成结束后</strong>，思考区都位于上方；折叠、展开与最终 Markdown 渲染保持正常。</p>
<h3 id="2--不是页面编码问题而是不稳定前缀被提前推送">2. `` 不是页面编码问题，而是不稳定前缀被提前推送</h3>
<p>当时页面出现：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">结：
</span></span></code></pre></div><p>但服务端 <code>/session/history</code> 中保存的最终回答是正常的：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">总结：
</span></span></code></pre></div><p>这组对照非常关键：如果最终历史正确、只有流式页面错误，就应优先检查增量链路，而不是怀疑模型权重或 HTML 的 UTF-8 声明。</p>
<p><code>ChatSession.ask_stream()</code> 的策略是每得到一个 token，就重新解码全部 <code>generated_ids</code>，再按上一次文本长度截取 delta。旧逻辑隐含了一个不总成立的假设：<strong>上次解码文本永远是这次解码文本的稳定前缀。</strong></p>
<p>当末尾汉字所需的字节或 token 尚未到齐时，中间解码可能临时以 `` 结尾：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">上一次：...
</span></span><span class="line"><span class="cl">这一次：...总结
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl">旧 delta = response[len(previous_response):]
</span></span><span class="line"><span class="cl">结果只发出“结”，而之前的“”已经推送给页面，无法撤回
</span></span></code></pre></div><p>修复方式是在末尾仍为 `` 时暂缓推送，等待后续 token 将其补全；生成结束后再补发剩余文本：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="k">if</span> <span class="n">response</span><span class="o">.</span><span class="n">endswith</span><span class="p">(</span><span class="s2">&#34;</span><span class="se">\ufffd</span><span class="s2">&#34;</span><span class="p">):</span>
</span></span><span class="line"><span class="cl">    <span class="k">continue</span>
</span></span></code></pre></div><p>新增的 <code>test_ask_stream_waits_for_incomplete_utf8_suffix</code> 用受控解码序列复现这个边界，要求最终 deltas 只有 <code>[&quot;总结&quot;]</code>，不能包含 ``，也不能丢掉“总”。这是流式文本处理里值得长期保留的原则：</p>
<blockquote>
<p><strong>只能向只能追加的 UI 推送已经稳定的前缀；可能随后续输入改写的尾部，应当先留在缓冲区。</strong></p>
</blockquote>
<h3 id="3-512-tokens-为什么会同时截断思考与正文">3. 512 tokens 为什么会同时截断思考与正文</h3>
<p>本地对话默认值经过两轮有依据的调整：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">context_size：  4096 → 8192
</span></span><span class="line"><span class="cl">max_new_tokens： 256 → 512 → 1024
</span></span></code></pre></div><p>两个环境变量分别为 <code>LVCHAT_CONTEXT_SIZE</code> 与 <code>LVCHAT_MAX_NEW_TOKENS</code>，仍可在启动时覆盖。</p>
<p>第一次调到 512 后，<code>25 * 24 结果是多少</code> 已能完整输出思考与“25 乘以 24 等于 600”。但另一个问题“你好，介绍一下注意力机制”仍停在 <code>4. **优势**</code>。对服务端清理后的回答重新编码，结果是<strong>正好 512 tokens</strong>，说明它撞到了生成上限。</p>
<p>这里最容易误解的是：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">max_new_tokens = 思考 tokens + 正式回答 tokens + 结束标记
</span></span></code></pre></div><p>它不是正文独享的预算。把默认上限调整为 1024 后，同一个问题完整生成到“优势”和“总结”；清理后的历史回答重新编码为 <strong>585 tokens</strong>，不含已被清理的结束标记。这说明此前 512 的确不足，而这次调参有一致问题的数据依据，不是无目的翻倍。</p>
<p>上下文与生成预算也不是没有成本：因果掩码存在平方级开销，KV Cache 随 token 数增长，多会话还会继续累加。当前它们是本地实验配置，不代表已完成长上下文性能优化。</p>
<h3 id="4-sse-done-不等于模型自然结束">4. SSE done 不等于模型自然结束</h3>
<p>旧页面只要收到 <code>done=true</code>，就显示“就绪 · SSE 流式返回”。但 <code>done</code> 原来只表示服务器的事件流结束，无法区分：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">stop：模型生成 EOS，自然结束
</span></span><span class="line"><span class="cl">length：达到 max_new_tokens，被强制停止
</span></span></code></pre></div><p>现在 <code>ChatSession</code> 记录 <code>last_finish_reason</code> 与 <code>last_generated_tokens</code>，服务端在最后一个 SSE 事件中附加：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">finish_reason
</span></span><span class="line"><span class="cl">generated_tokens
</span></span><span class="line"><span class="cl">max_new_tokens
</span></span></code></pre></div><p>页面收到 <code>finish_reason=length</code> 时，会明确显示“已达生成上限 · 回答可能不完整”，并提示可以增大 <code>LVCHAT_MAX_NEW_TOKENS</code>，不再把硬截断伪装成正常完成。</p>
<p>真实验收分成两边：</p>
<ul>
<li>默认 1024 下，同一注意力机制问题完整结束，页面保持正常完成状态；</li>
<li>临时将上限设为 16，页面实际出现“本次已达到 16 tokens 生成上限，回答可能不完整”的提示；验证后停止临时服务。</li>
</ul>
<h3 id="5-模型能力问题与工程问题分开记录">5. 模型能力问题与工程问题分开记录</h3>
<p>小模型自身仍然存在不稳定。例如 <code>123 + 789</code> 的思考中，模型一度算出 912，随后陷入“8912？不对”的重复，直到耗尽预算，正式回答为空。这不是 DOM 或 UTF-8 修复能够解决的问题，继续增大预算也只会允许重复持续更久。</p>
<p>因此当前笔记把三类结论分开：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">架构正确性：由官方 logits、cache decode 和固定生成对照证明
</span></span><span class="line"><span class="cl">工程链路：由 SSE、DOM 顺序、增量解码和结束原因验收
</span></span><span class="line"><span class="cl">模型质量：单独观察，不用工程测试替模型能力背书
</span></span></code></pre></div><h3 id="6-今天的验证范围">6. 今天的验证范围</h3>
<p>本轮相关回归实际运行结果为 <strong>10 passed</strong>，覆盖 <code>test_chat_session.py</code>、Qwen logits chat 与 Qwen chat regression；其中包括新增的临时 `` 解码回归。JavaScript <code>node --check</code> 与本次变更文件的 <code>git diff --check</code> 均通过。</p>
<p>真实浏览器验收覆盖思考区顺序、乱码消失、1024 下长回答完整结束，以及 16 tokens 下的截断提示。这个数字只代表本轮指定回归集合，不累加历史测试数，也不冒充全量测试或 Qwen3 全系列验收。</p>
]]></content:encoded>
    </item>
  </channel>
</rss>
