<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>推理优化 on 吕炘嵘的博客</title>
    <link>https://blog.lvxinrong.com/tags/%E6%8E%A8%E7%90%86%E4%BC%98%E5%8C%96/</link>
    <description>Recent content in 推理优化 on 吕炘嵘的博客</description>
    <image>
      <title>吕炘嵘的博客</title>
      <url>https://blog.lvxinrong.com/og-default.jpg</url>
      
      <link>https://blog.lvxinrong.com/tags/%E6%8E%A8%E7%90%86%E4%BC%98%E5%8C%96/</link>
    </image>
    <generator>Hugo</generator>
    <language>zh-CN</language>
    <lastBuildDate>Thu, 29 Oct 2026 12:00:00 +0800</lastBuildDate>
    <atom:link href="https://blog.lvxinrong.com/tags/%E6%8E%A8%E7%90%86%E4%BC%98%E5%8C%96/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>手搓 LLM 笔记 12：第一次看到自己手搓的 LLM 说人话</title>
      <link>https://blog.lvxinrong.com/llm/llm-12-kv-cache/</link>
      <pubDate>Thu, 29 Oct 2026 12:00:00 +0800</pubDate>
      <guid>https://blog.lvxinrong.com/llm/llm-12-kv-cache/</guid>
      <description>KV cache 是推理优化：历史 K/V 存下来复用，每步只算新 token。三层分工、首轮全量后续单步、位置偏移与位置溢出三个坑，验收输出一致且提速 40%。</description>
      <content:encoded><![CDATA[<h2 id="kv-cache-是什么">KV cache 是什么</h2>
<p><strong>纯粹的推理优化，训练用不上。</strong> 训练时整段序列一次喂入，每个 token 的 K/V 本来就只算一次；推理时是一个一个 token 往外蹦，每生成一个新 token，都要把之前所有 token 的 K/V 重新算一遍——越到后面越慢。KV cache 把历史 K/V 存下来复用，<strong>每步只算新 token 的 K/V，历史部分直接复用</strong>。</p>
<p>关键认知：<strong>cache 存的是计算结果（W_key/W_value 投影 + view + transpose 之后的成品），不是原始输入。省的是重复计算，不是查询。</strong></p>
<h2 id="三层分工">三层分工</h2>
<ul>
<li><strong>generate</strong>：持有并传递每层的 cache，每步只喂最新 token。首轮全量 forward 拿第一批 cache，之后每轮接力</li>
<li><strong>GPTModel.forward</strong>：把 cache 逐层透传给每个 trf block，收集每层的新 cache 组成 list 返回</li>
<li><strong>MHA.forward</strong>：接收 past_kv，<code>torch.cat([past_k, keys], dim=2)</code> 沿序列维拼接，返回 present_kv</li>
</ul>
<p>cache 不是模型属性——<strong>模型保持无状态，cache 由 generate 持有</strong>。不然多对话会互相污染。</p>
<h2 id="三个坑都踩过了">三个坑（都踩过了）</h2>
<p><strong>1. use_cache 开关不能省。</strong> <code>past_kv is None</code> 在训练和推理首轮都成立，但需求相反：训练只要 logits，首轮必须要 cache。所以得显式 <code>use_cache=True</code> 才返回 <code>(logits, present)</code>，默认返回 logits 保持老代码兼容。<strong>首轮计算 cache，后续复用 cache。</strong></p>
<p><strong>2. 位置偏移必须处理。</strong> 增量步每次只喂一个 token（seq_len=1），如果还用 <code>arange(seq_len)</code>，所有新 token 都被赋位置 0。正确做法是从历史长度起算：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="n">past_len</span> <span class="o">=</span> <span class="n">past_kv</span><span class="p">[</span><span class="mi">0</span><span class="p">][</span><span class="mi">0</span><span class="p">]</span><span class="o">.</span><span class="n">shape</span><span class="p">[</span><span class="mi">2</span><span class="p">]</span>   <span class="c1"># 第一层 K 的序列长度 = 历史 token 数</span>
</span></span><span class="line"><span class="cl"><span class="n">pos_embeds</span> <span class="o">=</span> <span class="bp">self</span><span class="o">.</span><span class="n">pos_emb</span><span class="p">(</span>
</span></span><span class="line"><span class="cl">    <span class="n">torch</span><span class="o">.</span><span class="n">arange</span><span class="p">(</span><span class="n">past_len</span><span class="p">,</span> <span class="n">past_len</span> <span class="o">+</span> <span class="n">seq_len</span><span class="p">,</span> <span class="n">device</span><span class="o">=</span><span class="n">in_idx</span><span class="o">.</span><span class="n">device</span><span class="p">)</span>
</span></span><span class="line"><span class="cl"><span class="p">)</span>
</span></span></code></pre></div><p><strong>3. 位置溢出（欠账）。</strong> <code>pos_emb</code> 表只有 <code>context_length</code> 个位置，<code>past_len + seq_len</code> 超过就越界。M3 先限制 <code>max_new_tokens</code> 不超限，以后处理。</p>
<h2 id="验收">验收</h2>
<p>同一模型同一 prompt、贪心采样（temperature=0 保证确定性）：</p>
<ul>
<li><strong>输出逐字一致</strong>（朴素版 vs cache 版）</li>
<li><strong>提速可测量</strong>：8.2ms → 4.9ms（约 40%）</li>
</ul>
<h2 id="欠账--todo">欠账 / TODO</h2>
<ul>
<li><strong>位置溢出处理</strong>：滑动窗口（截掉最老历史 + 对应 cache，保持窗口不超 context_length），或者以后换 RoPE（无表位置编码，天然无上限）</li>
<li><code>test_m2_pretrain</code> 手撸（31 号）</li>
<li><code>i</code> 已从 generate 的循环里移除，改由 global_step 做连续 micro-batch 计数</li>
</ul>
<h2 id="历史性的一刻它说人话了">历史性的一刻：它说人话了</h2>
<p>512 个 token 的生成测试里，最终结果是这样的：</p>
<ul>
<li><strong>提速 3.6x</strong>：cache 版 10.00s，朴素版 36.10s</li>
<li><strong>输出连贯有逻辑</strong>：从“人类与 AI 的未来”一路写到机器智能的哲学讨论，不再是复读机</li>
<li><strong>中英文对照</strong>：DeepSeek 翻译也顺畅，直接可以发圈</li>
</ul>
<p>看到模型输出通顺英文的那一刻，我真实地起了鸡皮疙瘩。从“我可能真的写不出来”到“我造的模型说出的东西是通顺的”，中间每一步都是自己敲的：分词器、注意力、训练循环、KV cache。<strong>它不是我用来的，是我造出来的。</strong></p>
<p><img alt="KV cache 验收：输出一致 + 提速 3.6x" loading="lazy" src="https://blog.lvxinrong.com/llm/llm-12-kv-cache-run.png"></p>
]]></content:encoded>
    </item>
  </channel>
</rss>
