<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>DSpark on 吕炘嵘的博客</title>
    <link>https://blog.lvxinrong.com/tags/dspark/</link>
    <description>Recent content in DSpark on 吕炘嵘的博客</description>
    <image>
      <title>吕炘嵘的博客</title>
      <url>https://blog.lvxinrong.com/og-default.jpg</url>
      
      <link>https://blog.lvxinrong.com/tags/dspark/</link>
    </image>
    <generator>Hugo</generator>
    <language>zh-CN</language>
    <lastBuildDate>Wed, 18 Nov 2026 01:50:00 +0800</lastBuildDate>
    <atom:link href="https://blog.lvxinrong.com/tags/dspark/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>手搓 LLM 番外：DeepSeek V4.1 Flash text_config 配置解读</title>
      <link>https://blog.lvxinrong.com/llm/llm-extra-deepseek-v41-flash-text-config/</link>
      <pubDate>Wed, 18 Nov 2026 01:50:00 +0800</pubDate>
      <guid>https://blog.lvxinrong.com/llm/llm-extra-deepseek-v41-flash-text-config/</guid>
      <description>逐字段阅读 DeepSeek V4.1 Flash 的 text_config：从 hidden_size、Attention、MoE、长上下文压缩到 Engram 与 DSpark。区分配置事实、结构直觉与必须回源码确认的实现细节，不展开 vision_config。</description>
      <content:encoded><![CDATA[<p>这份 <code>text_config</code> 的信息密度很高。它不是一个简单的“更大版 Qwen”，而是把 <strong>MoE、低秩 Attention、长上下文压缩、稀疏索引、Engram 查表记忆和 DSpark 投机解码</strong>放进了同一套架构。</p>
<p>本文只解读配置，不宣称已经下载、加载或跑通模型。部分字段可以直接确认含义，部分只能形成结构直觉，还有一些必须回到官方 modeling 源码确认。</p>
<h2 id="一先看整体它由哪些主线组成">一、先看整体：它由哪些主线组成</h2>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">主干：40 个 Transformer Block
</span></span><span class="line"><span class="cl">注意力：64 Q heads / 1 KV head，配合低秩 Q / O 与压缩机制
</span></span><span class="line"><span class="cl">MoE：384 个路由专家 + 1 个共享专家，每 token 选择 6 个路由专家
</span></span><span class="line"><span class="cl">长上下文：YaRN + 逐层压缩 + 滑动窗口 + 稀疏索引
</span></span><span class="line"><span class="cl">Engram：独立的 n-gram 查表记忆
</span></span><span class="line"><span class="cl">DSpark：3 个草稿阶段 + 块生成 + Markov 顺序依赖 + 置信度调度
</span></span><span class="line"><span class="cl">量化：主路径 FP8、专家路径 FP4、动态激活与分块缩放
</span></span></code></pre></div><p>所以读这份配置时，不能只沿 <code>hidden_size → n_heads × head_dim</code> 这一条公式走。它要求把模型当作一个完整系统来读。</p>
<h2 id="二词表隐藏维度与层数">二、词表、隐藏维度与层数</h2>
<h3 id="vocab_size-129280"><code>vocab_size: 129280</code></h3>
<p>这是 tokenizer 的词表大小，包括子词、特殊 token、标点等，不是自然语言里的单词数量。</p>
<p>和 Qwen3 的 <code>151936</code> 相比，它少 22656 个 token，约少 14.9%。但词表不同，token id 不能直接兼容，同一个汉字在两个模型里的 id 也可能不同。</p>
<p>Embedding 参数量为：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">129280 × 5120 = 661,913,600，约 6.62 亿
</span></span></code></pre></div><p>这只描述输入 embedding 的规模，不代表整个模型的参数量。</p>
<h3 id="hidden_size-5120"><code>hidden_size: 5120</code></h3>
<p>对应我们代码里的 <code>emb_dim</code>，表示每个 token 在残差流中的隐藏向量宽度：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">(B, T) → embedding → (B, T, 5120)
</span></span></code></pre></div><p>后面的 Block、归一化、残差连接和输出头主要围绕这 5120 维计算。</p>
<h3 id="num_hidden_layers-40"><code>num_hidden_layers: 40</code></h3>
<p>对应 40 个 Transformer Block。每个 Block 包含注意力、归一化、残差和 FFN / MoE 等结构，但从后续配置看，各层并不完全同构。</p>
<h2 id="三attentionq-头很多kv-很少q-内部维度也很宽">三、Attention：Q 头很多，KV 很少，Q 内部维度也很宽</h2>
<h3 id="num_attention_heads-64num_key_value_heads-1"><code>num_attention_heads: 64</code>、<code>num_key_value_heads: 1</code></h3>
<p>按标准 GQA 的字段含义：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">64 个 Q heads
</span></span><span class="line"><span class="cl">共享 1 个 K head 和 1 个 V head
</span></span></code></pre></div><p>KV 头数为 1，可以看作 MQA 这一极端形式。它有利于降低 KV 的头数与缓存成本，但不等于注意力总计算量也同比减少。</p>
<h3 id="head_dim-512"><code>head_dim: 512</code></h3>
<p>如果按标准 Attention 形状理解：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">Q 总维度 = 64 × 512 = 32768
</span></span><span class="line"><span class="cl">K / V 总维度 = 1 × 512 = 512
</span></span></code></pre></div><p><code>32768</code> 与 <code>hidden_size=5120</code> 并不相等，这正是 <code>head_dim</code> 与 <code>hidden_size</code> 解耦：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">输入：(B, T, 5120)
</span></span><span class="line"><span class="cl">Q：5120 → 32768
</span></span><span class="line"><span class="cl">注意力输出：32768
</span></span><span class="line"><span class="cl">O 投影：32768 → 5120
</span></span></code></pre></div><p>隐藏流宽度与 Attention 内部宽度不要求一致。</p>
<p>但配置里还有 <code>q_lora_rank</code>、<code>o_lora_rank</code>，所以 32768 更适合先理解为理论上的 Q 头总维度，不能直接按普通 Linear 推断实际投影矩阵。</p>
<h3 id="q_lora_rank-1280o_lora_rank-1024o_groups-8"><code>q_lora_rank: 1280</code>、<code>o_lora_rank: 1024</code>、<code>o_groups: 8</code></h3>
<p>这里的 LoRA 不是后训练 adapter，而是<strong>模型原生的低秩投影结构</strong>：</p>
<ul>
<li><code>q_lora_rank</code>：Q 投影的低秩中间维度；</li>
<li><code>o_lora_rank</code>：O 投影的低秩中间维度；</li>
<li><code>o_groups</code>：O 投影的分组数。</li>
</ul>
<p>后训练 LoRA 是给已有权重增加低秩补丁；这里的低秩结构从预训练起就存在于模型中。</p>
<h3 id="qk_rope_head_dim-64"><code>qk_rope_head_dim: 64</code></h3>
<p>它表示 Q / K 中用于 RoPE 的通道数为 64，而不是整个 <code>head_dim=512</code> 都施加旋转编码。</p>
<p>我们的 V4 当前对所有 head_dim 通道执行 RoPE；这份配置则是：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">Q / K 中只有 64 个通道参与位置旋转
</span></span></code></pre></div><p>这不是 64 个可训练参数，而是 64 个通道，对应 32 对旋转维度。具体哪些通道使用 RoPE、哪些通道主要承载内容，需要看实现。</p>
<h2 id="四moe-与-router大量专家少量激活整体缩放">四、MoE 与 Router：大量专家、少量激活、整体缩放</h2>
<h3 id="n_routed_experts-384"><code>n_routed_experts: 384</code></h3>
<p>表示有 384 个可供 Router 选择的专家。</p>
<h3 id="n_shared_experts-1"><code>n_shared_experts: 1</code></h3>
<p>表示有 1 个共享专家，通常每个 token 都会经过它。</p>
<h3 id="num_experts_per_tok-6"><code>num_experts_per_tok: 6</code></h3>
<p>每个 token 从 384 个路由专家中选择 6 个：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">384 → Top-6 → 6 个路由专家 + 1 个共享专家
</span></span></code></pre></div><p>路由专家选择比例为 <code>6 / 384 ≈ 1.56%</code>。这描述的是专家数量上的稀疏性，不等于整个模型的激活参数比例。</p>
<h3 id="moe_intermediate_size-2304"><code>moe_intermediate_size: 2304</code></h3>
<p>这是每个 MoE 专家内部 FFN 的中间维度，不是专家数量。</p>
<h3 id="scoring_func-sqrtsoftplus"><code>scoring_func: &quot;sqrtsoftplus&quot;</code></h3>
<p>这是 Router 给专家打分时使用的函数：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">softplus(x) = ln(1 + e^x)
</span></span><span class="line"><span class="cl">sqrtsoftplus(x) = sqrt(softplus(x))
</span></span></code></pre></div><p>它输出平滑、非负的匹配分数，用于后续专家选择与权重计算。</p>
<h3 id="topk_method-noaux_tc"><code>topk_method: &quot;noaux_tc&quot;</code></h3>
<p>这是 Top-K 专家选择策略的名称。<code>noaux</code> 看起来与不使用辅助损失的负载均衡有关，<code>tc</code> 的具体含义需要源码确认，不能只靠缩写猜。</p>
<h3 id="norm_topk_prob-true"><code>norm_topk_prob: true</code></h3>
<p>表示对 Top-K 选中的路由权重做归一化。例如：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">[2, 1, 1] → [0.5, 0.25, 0.25]
</span></span></code></pre></div><p>使选中专家的权重和为 1，便于后续加权合并。</p>
<h3 id="routed_scaling_factor-15"><code>routed_scaling_factor: 1.5</code></h3>
<p>这是路由分支整体贡献的缩放系数，不是 <code>scoring_func</code> 的输入参数：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">scoring_func：计算专家匹配分数
</span></span><span class="line"><span class="cl">norm_topk_prob：归一化选中权重
</span></span><span class="line"><span class="cl">routed_scaling_factor：再缩放路由分支的整体贡献
</span></span></code></pre></div><h2 id="五长上下文yarn压缩索引和窗口同时存在">五、长上下文：YaRN、压缩、索引和窗口同时存在</h2>
<h3 id="max_position_embeddings-1048576"><code>max_position_embeddings: 1048576</code></h3>
<p>对应 1,048,576 tokens 的位置容量，不是 1 MB 内存，也不是 100 万字符。</p>
<p>结合：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-json" data-lang="json"><span class="line"><span class="cl"><span class="s2">&#34;rope_scaling&#34;</span><span class="err">:</span> <span class="p">{</span>
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;rope_type&#34;</span><span class="p">:</span> <span class="s2">&#34;yarn&#34;</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;factor&#34;</span><span class="p">:</span> <span class="mi">16</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;original_max_position_embeddings&#34;</span><span class="p">:</span> <span class="mi">65536</span>
</span></span><span class="line"><span class="cl"><span class="p">}</span>
</span></span></code></pre></div><p>恰好有：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">65536 × 16 = 1048576
</span></span></code></pre></div><p>所以它表示通过 YaRN 扩展后的配置上限，不能直接理解为稳定有效的 100 万 token 上下文能力。</p>
<h3 id="beta_fast-32beta_slow-1"><code>beta_fast: 32</code>、<code>beta_slow: 1</code></h3>
<p>这两个参数用于调整 YaRN 不同频率通道的扩展强度：</p>
<ul>
<li>fast / 高频部分：调整更强；</li>
<li>slow / 低频部分：调整更弱。</li>
</ul>
<p>具体 beta 如何进入官方公式，需要看实现。YaRN 扩展位置表示范围，不等于长上下文质量自动得到保证。</p>
<h3 id="rope_theta-10000"><code>rope_theta: 10000</code></h3>
<p>这是主路径的 RoPE 底数，影响各通道的旋转频率与位置角度。它不能简单由 <code>qk_rope_head_dim=64</code> 推出“更小就够用了”，theta 与通道维度、训练上下文和位置泛化需要一起看。</p>
<h3 id="compress_rope_theta-160000"><code>compress_rope_theta: 160000</code></h3>
<p>这是压缩路径专用的 RoPE 底数，与主路径的 <code>10000</code> 不同，说明不同计算路径可能使用不同的位置编码策略。它具体作用于 token 位置、块位置还是索引位置，需要源码确认。</p>
<h3 id="compress_ratios"><code>compress_ratios</code></h3>
<p>数组恰好有 40 项，对应 40 层：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">第 0～1 层：0
</span></span><span class="line"><span class="cl">第 2～17 层：2
</span></span><span class="line"><span class="cl">第 18～37 层：1
</span></span><span class="line"><span class="cl">第 38～39 层：0
</span></span></code></pre></div><p>这更像逐层 Attention / KV 压缩策略，而不是直接压缩 Block 输出 hidden state。</p>
<p><code>0、1、2</code> 是比例还是模式编号，需要源码确认，不能仅凭字段名直接解释为输出尺寸缩小多少。</p>
<h3 id="kv_source_layer_ids-2-8-14-20"><code>kv_source_layer_ids: [2, 8, 14, 20]</code></h3>
<p>表示第 2、8、14、20 层与 KV 来源有关，可能存在跨层 KV 复用或共享。</p>
<h3 id="index_source_layer_ids-2-8-14-20-24-28-32-36"><code>index_source_layer_ids: [2, 8, 14, 20, 24, 28, 32, 36]</code></h3>
<p>表示另外 8 层与索引来源有关，稀疏索引机制可能从这些层获取信息。</p>
<p>两组 ID 的层编号从 0 还是从 1 开始，必须看官方代码。</p>
<h3 id="index_n_heads-32index_head_dim-128index_topk-512"><code>index_n_heads: 32</code>、<code>index_head_dim: 128</code>、<code>index_topk: 512</code></h3>
<p>这组更像稀疏索引模块自己的配置：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">32 个索引头
</span></span><span class="line"><span class="cl">每头 128 维
</span></span><span class="line"><span class="cl">每次选择 Top-512 候选位置或块
</span></span></code></pre></div><p>它不是主 Attention 的 64 个 Q heads 和 <code>head_dim=512</code>，而是用于计算“哪些历史信息值得被选中”。</p>
<h3 id="candidate_source_layer_id-20"><code>candidate_source_layer_id: 20</code></h3>
<p>候选信息来自第 20 层，具体层编号含义仍要看实现。</p>
<h3 id="candidate_topk_blocks-2048"><code>candidate_topk_blocks: 2048</code></h3>
<p>候选池最多保留 2048 个 block。</p>
<h3 id="candidate_block_size-8"><code>candidate_block_size: 8</code></h3>
<p>每个 block 包含 8 个 token，说明筛选粒度可能是 token 块而不是单 token。</p>
<p>如果按同一套块体系理解：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">候选池：2048 blocks × 8 tokens = 16384 tokens
</span></span><span class="line"><span class="cl">实际选择：Top-512 blocks，约为候选池的 1/4
</span></span></code></pre></div><p>这只是由配置形成的结构直觉，具体块生成方式仍需源码确认。</p>
<h3 id="sliding_window-128"><code>sliding_window: 128</code></h3>
<p>这是局部注意力窗口，当前 token 主要关注附近约 128 个 token，而不是完整历史。它与 <code>index_topk</code> 的动态筛选不同：</p>
<ul>
<li>sliding window：固定范围稀疏；</li>
<li>index top-k：内容驱动的动态稀疏。</li>
</ul>
<h2 id="六hyper-connections多路残差流与-sinkhorn-混合">六、Hyper-Connections：多路残差流与 Sinkhorn 混合</h2>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-json" data-lang="json"><span class="line"><span class="cl"><span class="s2">&#34;hc_mult&#34;</span><span class="err">:</span> <span class="mi">4</span><span class="err">,</span>
</span></span><span class="line"><span class="cl"><span class="s2">&#34;hc_sinkhorn_iters&#34;</span><span class="err">:</span> <span class="mi">20</span><span class="err">,</span>
</span></span><span class="line"><span class="cl"><span class="s2">&#34;hc_eps&#34;</span><span class="err">:</span> <span class="mf">1e-06</span>
</span></span></code></pre></div><p>这里的 <code>hc</code> 指 Hyper-Connections，作用于残差流，而不是 Attention heads。</p>
<p>可以暂时理解为：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">隐藏状态
</span></span><span class="line"><span class="cl">→ 扩展成 4 路残差流
</span></span><span class="line"><span class="cl">→ 用可学习的系数组合这些分支
</span></span><span class="line"><span class="cl">→ 用 Sinkhorn 迭代归一化组合系数
</span></span><span class="line"><span class="cl">→ 得到稳定的混合表示
</span></span></code></pre></div><p><code>hc_mult=4</code> 是残差流扩展因子，<code>hc_sinkhorn_iters=20</code> 是 Sinkhorn 归一化迭代次数，<code>hc_eps=1e-6</code> 用于归一化计算的数值稳定性。</p>
<p>公开实现把它描述为多路残差流及 doubly stochastic 混合矩阵：<a href="https://atlas.klimoza.dev/models/deepseek-v4.1/blocks/token-group/group-input">参考</a>。</p>
<p>它不是“把 x 复制四份，每份完整执行一次 Attention / FFN，再拼接”，而更像在子层前后对多路残差流进行混合与分配。</p>
<h2 id="七engram模型内置的-n-gram-查表记忆">七、Engram：模型内置的 n-gram 查表记忆</h2>
<p><code>Engram</code> 可以理解成一种<strong>模型内置的 n-gram 向量记忆库</strong>：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">最近几个 token 组成 n-gram
</span></span><span class="line"><span class="cl">→ 在专用记忆表中取向量
</span></span><span class="line"><span class="cl">→ 门控判断是否采用
</span></span><span class="line"><span class="cl">→ 注入当前隐藏状态
</span></span></code></pre></div><p>它不是为了替代 Transformer 推理，而是让常见短语、固定搭配和静态知识可以直接查用，减少模型反复重算。<a href="https://aki.io/blog/deepseek-v4-1-flash-engram-embeddings/">公开介绍</a>也将它描述为 n-gram 查表记忆。</p>
<h3 id="engram_layer_ids-1-14"><code>engram_layer_ids: [1, 14]</code></h3>
<p>表示在第 1、14 层插入 Engram 模块。</p>
<h3 id="engram_num_embeddings-384006168-384016682"><code>engram_num_embeddings: [384006168, 384016682]</code></h3>
<p>两个 Engram 表各自的 embedding 条目或容量，约 3.84 亿个。具体如何分片、如何映射到物理表，需要看实现。</p>
<h3 id="engram_max_ngram_size-4"><code>engram_max_ngram_size: 4</code></h3>
<p>最多使用 4 个 token 组成一个 n-gram，说明它主要处理短组合与局部模式。</p>
<h3 id="engram_vocab_size-16000000"><code>engram_vocab_size: 16000000</code></h3>
<p>n-gram 的索引 / 词表空间为 1600 万，远大于主词表的 129280。</p>
<h3 id="engram_n_heads-8"><code>engram_n_heads: 8</code></h3>
<p>Engram 检索模块使用 8 个头，不是主 Attention 的 64 个头。</p>
<h3 id="engram_head_dim-256"><code>engram_head_dim: 256</code></h3>
<p>每个 Engram head 的向量维度为 256。</p>
<h3 id="engram_pad_token_id-2"><code>engram_pad_token_id: 2</code></h3>
<p>Engram 自己的 padding token id。</p>
<h3 id="engram_compressed_vocab_size-99092"><code>engram_compressed_vocab_size: 99092</code></h3>
<p>压缩后的 n-gram 词表大小，不是主模型词表大小。</p>
<p><code>engram_num_embeddings</code> 与 <code>engram_vocab_size</code> 不是一回事：前者更像实际条目或参数容量，后者是 n-gram 索引空间，<code>engram_compressed_vocab_size</code> 则是压缩后的表示空间。</p>
<p>它和“把短句直接做成高阶 token”也不同：主 token 序列没有被替换，Engram 是额外提供查表向量，补充模型计算。</p>
<h2 id="八dspark内置投机解码草稿结构">八、DSpark：内置投机解码草稿结构</h2>
<p>DSpark 是内置的投机解码机制，核心不是让模型更聪明，而是尽量通过并行起草与目标模型验证降低逐 token 解码成本。<a href="https://arxiv.org/html/2607.05147v1">DSpark 论文</a>描述了半自回归并行起草、Markov 顺序依赖和置信度调度。</p>
<h3 id="num_nextn_predict_layers-3"><code>num_nextn_predict_layers: 3</code></h3>
<p>表示有 3 个 DSpark 草稿阶段 / 预测层，不是一次生成 3 个 token。</p>
<h3 id="dspark_block_size-5"><code>dspark_block_size: 5</code></h3>
<p>每个草稿块最多提出 5 个 token，不是固定接受 5 个。</p>
<h3 id="dspark_noise_token_id-128799"><code>dspark_noise_token_id: 128799</code></h3>
<p>这是 DSpark 并行起草时使用的特殊噪声 / 占位 token，不是正常文本内容。</p>
<h3 id="dspark_target_layer_ids-37-38-39"><code>dspark_target_layer_ids: [37, 38, 39]</code></h3>
<p>草稿结构复用目标模型第 37、38、39 层的表示，即 40 层主干的最后三层。</p>
<h3 id="dspark_markov_rank-256"><code>dspark_markov_rank: 256</code></h3>
<p>Markov 头的低秩维度，用于补足并行起草时的顺序依赖和块内一致性。</p>
<h3 id="dspark_n_routed_experts-128"><code>dspark_n_routed_experts: 128</code></h3>
<p>DSpark 自己的 MoE 部分包含 128 个路由专家，与主模型的 384 个专家分开。</p>
<h3 id="dspark_num_experts_per_tok-3"><code>dspark_num_experts_per_tok: 3</code></h3>
<p>DSpark 的 MoE 部分每个 token 选择 3 个路由专家。</p>
<p>所以这里有两套 MoE 配置：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">主模型：384 个专家，每个 token 选 6 个，另有 1 个共享专家
</span></span><span class="line"><span class="cl">DSpark：128 个专家，每个 token 选 3 个
</span></span></code></pre></div><h2 id="九量化与精度配置">九、量化与精度配置</h2>
<h3 id="quant_method-fp8"><code>quant_method: &quot;fp8&quot;</code></h3>
<p>主量化方法使用 FP8，即 8 位浮点格式。它不是 INT8，具体是 E4M3 还是 E5M2 需要看实现。</p>
<h3 id="activation_scheme-dynamic"><code>activation_scheme: &quot;dynamic&quot;</code></h3>
<p>激活值在运行时动态量化，根据本次计算的实际数值范围确定尺度，而不是提前用校准数据固定所有激活范围。</p>
<h3 id="weight_block_size-32-32"><code>weight_block_size: [32, 32]</code></h3>
<p>表示权重按 32×32 小块量化，每块 1024 个元素。它比整张量共用一套尺度更细，有利于适应不同区域的数值分布，但会增加缩放因子与管理成本。</p>
<h3 id="scale_fmt-ue8m0"><code>scale_fmt: &quot;ue8m0&quot;</code></h3>
<p>这是缩放因子的编码格式：无符号 8 位指数形式，缩放值以 2 的幂次表示，而不是任意小数。它服务于量化尺度和硬件实现，不是权重本身的 dtype。</p>
<h3 id="expert_dtype-fp4"><code>expert_dtype: &quot;fp4&quot;</code></h3>
<p>专家权重使用 FP4，即 4 位浮点格式，进一步降低存储与带宽成本，但也更依赖激活截断、量化尺度和专用 kernel。</p>
<p>因此这份配置是：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">主路径 FP8
</span></span><span class="line"><span class="cl">专家路径 FP4
</span></span><span class="line"><span class="cl">激活值动态量化
</span></span><span class="line"><span class="cl">缩放值 ue8m0
</span></span><span class="line"><span class="cl">权重块 32 × 32
</span></span></code></pre></div><p>不能把模型简单理解成 BF16，也不能把 FP4 理解成所有计算都只用 4 位完成。</p>
<h2 id="十其他字段速记">十、其他字段速记</h2>
<h3 id="hidden_act-silu"><code>hidden_act: &quot;silu&quot;</code></h3>
<p>FFN 的门控分支使用 SiLU，与我们当前实现一致：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="bp">self</span><span class="o">.</span><span class="n">act</span><span class="p">(</span><span class="bp">self</span><span class="o">.</span><span class="n">gate_proj</span><span class="p">(</span><span class="n">x</span><span class="p">))</span> <span class="o">*</span> <span class="bp">self</span><span class="o">.</span><span class="n">up_proj</span><span class="p">(</span><span class="n">x</span><span class="p">)</span>
</span></span></code></pre></div><p>门控结构由 <code>gate_proj</code> 和 <code>up_proj</code> 的权重形成，不需要额外配置一个“门阀开关”。</p>
<h3 id="swiglu_limit-100"><code>swiglu_limit: 10.0</code></h3>
<p>这是 SwiGLU 的激活范围限制。公开实现示例大致是：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="n">gate</span> <span class="o">=</span> <span class="n">torch</span><span class="o">.</span><span class="n">clamp</span><span class="p">(</span><span class="n">gate</span><span class="p">,</span> <span class="nb">max</span><span class="o">=</span><span class="mf">10.0</span><span class="p">)</span>
</span></span><span class="line"><span class="cl"><span class="n">up</span> <span class="o">=</span> <span class="n">torch</span><span class="o">.</span><span class="n">clamp</span><span class="p">(</span><span class="n">up</span><span class="p">,</span> <span class="nb">min</span><span class="o">=-</span><span class="mf">10.0</span><span class="p">,</span> <span class="nb">max</span><span class="o">=</span><span class="mf">10.0</span><span class="p">)</span>
</span></span><span class="line"><span class="cl"><span class="n">activation</span> <span class="o">=</span> <span class="n">F</span><span class="o">.</span><span class="n">silu</span><span class="p">(</span><span class="n">gate</span><span class="p">)</span> <span class="o">*</span> <span class="n">up</span>
</span></span></code></pre></div><p>它用于控制异常激活值并提高低精度计算稳定性，<a href="https://idlemachines.co.uk/essays/deepseek-v4-efficiency-release">公开实现说明</a>。</p>
<h3 id="rms_norm_eps-1e-20"><code>rms_norm_eps: 1e-20</code></h3>
<p>RMSNorm 分母中的 epsilon，用于防止除零和数值稳定。我们的 Qwen3-0.6B 是 <code>1e-6</code>，这里的 <code>1e-20</code> 小了 10¹⁴ 倍。</p>
<h3 id="attention_bias-false"><code>attention_bias: false</code></h3>
<p>Attention 投影不使用 bias。</p>
<h3 id="attention_dropout-00"><code>attention_dropout: 0.0</code></h3>
<p>Attention weights 的 dropout 比例为 0，即关闭注意力权重 dropout。</p>
<h3 id="initializer_range-002"><code>initializer_range: 0.02</code></h3>
<p>从零初始化权重时使用的正态分布标准差，可近似理解为 <code>N(0, 0.02)</code>。从 checkpoint 加载已有权重时，它不参与前向计算。</p>
<h3 id="use_cache-true"><code>use_cache: true</code></h3>
<p>启用或允许 KV Cache，实际调用仍可覆盖。</p>
<h3 id="tie_word_embeddings-false"><code>tie_word_embeddings: false</code></h3>
<p>输入 embedding 与输出头不共享权重。若为 true，才会共享。</p>
<h3 id="architectures-deepseekv41forcausallm"><code>architectures: [&quot;DeepseekV41ForCausalLM&quot;]</code></h3>
<p>告诉 Transformers 应实例化哪个模型类。</p>
<h3 id="model_type-deepseek_v41"><code>model_type: &quot;deepseek_v41&quot;</code></h3>
<p>模型家族的配置标识。</p>
<h3 id="dtype-bfloat16"><code>dtype: &quot;bfloat16&quot;</code></h3>
<p>默认精度声明，但实际主路径与专家路径还受量化配置影响。</p>
<h3 id="transformers_version-560"><code>transformers_version: &quot;5.6.0&quot;</code></h3>
<p>配置对应的 Transformers 版本，不是模型自身版本号。</p>
<h3 id="bos_token_id-0"><code>bos_token_id: 0</code></h3>
<p>序列开始 token。</p>
<h3 id="eos_token_id-1"><code>eos_token_id: 1</code></h3>
<p>序列结束 token。</p>
<h3 id="pad_token_id-2"><code>pad_token_id: 2</code></h3>
<p>Batch 对齐时使用的 padding token。</p>
<h3 id="image_token_id-129264"><code>image_token_id: 129264</code></h3>
<p>图像相关特殊 token，用于多模态输入，不属于普通文本生成逻辑。本文按当前学习选择，不展开 <code>vision_config</code>。</p>
<h2 id="十一仍需回源码确认的问题">十一、仍需回源码确认的问题</h2>
<p>这份配置很适合做“从配置到实现”的审计入口，但不能代替实现。当前留下的明确待查项包括：</p>
<ul>
<li><code>q_lora_rank / o_lora_rank</code> 的实际矩阵拆分与 Q/K/V/O 形状；</li>
<li><code>o_groups</code> 的分组方式；</li>
<li><code>noaux_tc</code> 的路由与负载均衡细节；</li>
<li><code>compress_ratios</code> 中 0 / 1 / 2 的精确语义；</li>
<li><code>kv_source_layer_ids</code> 与 <code>index_source_layer_ids</code> 的层编号及跨层数据流；</li>
<li><code>index_topk</code> 与候选块的实际筛选单位；</li>
<li><code>engram_num_embeddings</code> 的精确物理含义、分片与查表方式；</li>
<li>DSpark 的置信度头、验证路径和接受率。</li>
</ul>
<p>后续最合理的阅读顺序是：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">官方 modeling
</span></span><span class="line"><span class="cl">→ attention / MoE forward
</span></span><span class="line"><span class="cl">→ 压缩与索引路径
</span></span><span class="line"><span class="cl">→ Engram 查表路径
</span></span><span class="line"><span class="cl">→ DSpark draft / verify / confidence 调度
</span></span></code></pre></div><p>这份 <code>text_config</code> 的真正价值，是让我看到了一种趋势：<strong>模型能力不只来自更大的矩阵，也来自低秩分解、稀疏计算、分层信息组织、查表记忆和推理期协同。</strong> 后续实现时，我会把这些字段继续转换成可验证的形状、数据流和测试，而不是只停留在名词解释上。</p>
<h2 id="写在最后">写在最后</h2>
<p>只读 <code>config.json</code>，就已经可以感受到最前沿开源模型的架构复杂程度。</p>
<p>再回头看我们从 V1 到 V4 的迭代，这种感受会更具体：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">V1：从 GPT-2 开始，把最基本的模型、训练和生成跑通
</span></span><span class="line"><span class="cl">V2：补上 RoPE，开始理解位置编码如何进入注意力
</span></span><span class="line"><span class="cl">V3：引入 RMSNorm、SwiGLU、GQA 和权重绑定，承接 Qwen2.5
</span></span><span class="line"><span class="cl">V4：显式 head_dim、QK RMSNorm，承接 Qwen3，并继续做推理、对话和后训练实验
</span></span></code></pre></div><p>以前我更多在想：一个矩阵怎么算、一个 Block 怎么对齐、一个权重形状为什么对不上。现在再往前看，会发现大模型的能力已经不只是由这些基本结构决定了。</p>
<p>Attention 可以压缩，KV 可以跨层组织，专家可以稀疏调用，记忆可以独立查表，生成也可以由草稿结构和置信度调度一起完成。它们解决的不是“如何把模型做得更大”，而是“怎样让计算、存储和推理真正配合起来”。</p>
<p>从 V1 到 V4，我是在把主干写明白；再往后，就是把这些高效机制一件件拆开来看。这个差距很明显，但也让我更清楚下一步该学什么。</p>
<p>不过，有一点很重要：<strong>整体思路上，它并没有逃离 Transformer 的体系。</strong></p>
<p>无论是 MoE、低秩 Attention、Hyper-Connections、Engram，还是 DSpark，主干计算依然是围绕 token 序列、注意力、残差流和逐层表示展开的。个人理解，这更像是对 Transformer 体系的一次精细化架构考量：在保留主干的前提下，针对长上下文、显存、计算效率和推理速度，做更细的拆解和优化。</p>
<p>这样看下来，很多新名词也没有那么陌生了。先抓住 Transformer 的主干，再看它们分别优化了哪一环，就更容易理解这些变化究竟在解决什么问题。</p>
]]></content:encoded>
    </item>
  </channel>
</rss>
