<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>读书笔记 on 吕炘嵘的博客</title>
    <link>https://blog.lvxinrong.com/tags/%E8%AF%BB%E4%B9%A6%E7%AC%94%E8%AE%B0/</link>
    <description>Recent content in 读书笔记 on 吕炘嵘的博客</description>
    <image>
      <title>吕炘嵘的博客</title>
      <url>https://blog.lvxinrong.com/og-default.jpg</url>
      
      <link>https://blog.lvxinrong.com/tags/%E8%AF%BB%E4%B9%A6%E7%AC%94%E8%AE%B0/</link>
    </image>
    <generator>Hugo</generator>
    <language>zh-CN</language>
    <lastBuildDate>Mon, 16 Nov 2026 00:00:00 +0000</lastBuildDate>
    <atom:link href="https://blog.lvxinrong.com/tags/%E8%AF%BB%E4%B9%A6%E7%AC%94%E8%AE%B0/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>Weight-Space Programming：权重空间编程中文导读</title>
      <link>https://blog.lvxinrong.com/reading/weight-space-programming-guide/</link>
      <pubDate>Tue, 03 Nov 2026 13:47:56 +0800</pubDate>
      <guid>https://blog.lvxinrong.com/reading/weight-space-programming-guide/</guid>
      <description>根据原文整理的中文导读：大模型如何读取、编写和修复神经网络权重，以及为什么修复输出障碍不等于凭空增加能力。</description>
      <content:encoded><![CDATA[<ul>
<li>原文标题：<em>Sparks of Weight-Space Programming: LLMs can natively read &amp; write neural network weights</em></li>
<li>原文链接：https://rikiyat.github.io/blog/weight-space-programming/</li>
<li>阅读日期：2026-11-03</li>
<li>说明：这是根据原文整理的中文导读与实验解读，不是逐句全文翻译。文中数字均为作者报告的结果，当前没有独立复现。</li>
</ul>
<h2 id="一句话理解原文">一句话理解原文</h2>
<p>作者认为，通用大模型已经开始具备一种新能力：<strong>不经过梯度训练，直接根据神经网络权重和行为反馈，对另一个模型进行诊断、修改甚至从零编写。</strong> 他们把这叫 Weight-Space Programming（权重空间编程）。</p>
<p>但“读懂权重”并不是像人一样随便扫一眼权重文件，就知道每个神经元在做什么。不同实验分别使用了原始权重文本、Python 分析工具、行为观察和前向反馈，限制条件并不相同。</p>
<h2 id="一它是怎样读权重的">一、它是怎样“读”权重的？</h2>
<h3 id="1-从权重判断网络在玩什么游戏">1. 从权重判断网络在玩什么游戏</h3>
<p>作者训练了四个结构完全相同的小网络，分别玩 Breakout、Pong、Pac-Man 和 Freeway。</p>
<p>他们把全部 17,253 个权重以文本形式交给 Astra，不告诉它候选游戏名称。Astra 四次都认对了。</p>
<p>它依据的是权重里的空间结构，例如第一层更关注输入网格的哪些区域、输出层更倾向于区分哪些动作。</p>
<h3 id="2-从扩散模型权重判断它生成什么形状">2. 从扩散模型权重判断它生成什么形状</h3>
<p>作者给了三个小扩散模型，分别生成圆形、三角形和正方形。Astra 不允许运行模型，只看权重，也能认出形状。</p>
<p>它主要依据输出层不同神经元画出的边缘。不过它也犯了一个细节错误：把填充图形理解成了轮廓。</p>
<h3 id="3-只看-transformer-中间层判断训练语言">3. 只看 Transformer 中间层，判断训练语言</h3>
<p>这是比较重要的实验。作者训练了三个 7.2M 的字符级小模型，分别学习 Python、英文和日文罗马字。</p>
<p>他们去掉输入、输出层，只给 Astra 中间四个 Transformer Block。Astra 不仅认出了语言，还准确找到了“复制头”——会找到前文重复内容、并复制后续字符的 attention head。</p>
<p>这里允许它用 Python 分析权重，但不允许运行网络、不允许搜索、不能做前向计算。作者检查过运行记录。</p>
<p>这部分支持一个很有意思的判断：<strong>大模型可能真的能从权重中识别某些 Transformer 层和注意力头的功能。</strong></p>
<h2 id="二它是怎样写权重的">二、它是怎样“写”权重的？</h2>
<p>作者做了从小到大的实验：</p>
<ul>
<li>修复一个始终无法冲上坡道的小车控制网络，一次修改约 3.5% 的权重后，1024 次测试全部成功；</li>
<li>从零编写几个小型游戏网络，部分结果超过经过大量 PPO 训练的小网络；</li>
<li>在约 150 万参数的围棋网络上，用 Python 写权重，并通过多次前向测试继续修改。</li>
</ul>
<p>需要注意：后面的实验开始允许工具和前向反馈，不再只是“把权重读一遍就直接写答案”。</p>
<h2 id="三数学能力提升实际是怎么回事">三、数学能力提升实际是怎么回事？</h2>
<p>这是原文第 8 个实验，也是宣传截图里最震撼的数字。</p>
<p>模型是 Qwen3.5-0.8B。作者给它：</p>
<ul>
<li>一个加载了权重的 Python 环境；</li>
<li>GSM8K 和 MATH 的训练集题目，不是测试集；</li>
<li>最多 50 次前向测试机会；</li>
<li>不允许梯度、不允许训练。</li>
</ul>
<p>Astra 发现，这个小模型最大的障碍是<strong>推理循环</strong>：它反复生成相同内容，根本停不下来。最初的 96 个练习回答里，有 85 个一直生成到 32768 token 上限。</p>
<p>于是 Astra 在第 15、19 层的 MLP 中，找到了一个与循环行为相关的方向，并从每层的 64 个输出列中减去这个方向。总共修改 131,072 个权重，占模型约 0.016%。</p>
<p>作者报告的结果：</p>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th>指标</th>
        <th style="text-align: right">修改前</th>
        <th style="text-align: right">修改后</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td>MATH-500</td>
        <td style="text-align: right">7.9%</td>
        <td style="text-align: right">48.1%</td>
      </tr>
      <tr>
        <td>GSM8K</td>
        <td style="text-align: right">13.8%</td>
        <td style="text-align: right">67.1%</td>
      </tr>
      <tr>
        <td>IFEval 指令遵循</td>
        <td style="text-align: right">21.0%</td>
        <td style="text-align: right">62.3%</td>
      </tr>
      <tr>
        <td>撞 token 上限的回答</td>
        <td style="text-align: right">93.0%</td>
        <td style="text-align: right">33.1%</td>
      </tr>
    </tbody>
  </table>
</div>
<p><strong>这里最关键的不是“数学能力突然增加了”，而是“模型终于能把本来会做的题写完了”。</strong></p>
<p>它修复的是一个输出障碍，不是凭空注入了数学知识。</p>
<h2 id="四原文还有一个更重要的失败实验">四、原文还有一个更重要的失败实验</h2>
<p>作者又拿一个很少出现循环的 Gemma 3 270M 做同样尝试。</p>
<p>这个模型也会算错，但错误是普通的算术错误、代数步骤错误，没有一个统一故障可以关闭。结果多轮权重编辑后，MATH-500 只从 6.8% 变成最多 7.7%；作者明确表示，这种提升不能算得到证实。</p>
<p>原文的结论其实非常克制：</p>
<blockquote>
<p><strong>权重编辑可以移除一个遮住已有能力的障碍，但不能凭空添加模型原本不具备的能力。</strong></p>
</blockquote>
<h2 id="五这对我们的四则运算实验意味着什么">五、这对我们的四则运算实验意味着什么？</h2>
<p>之前准备的“EOS 单行缩放”，最多只能用于验证停止、截断、循环这类输出障碍，不能直接等同于提升四则运算能力。</p>
<p>我们应该先跑 355M 的基线，把错误分成几类：</p>
<ul>
<li>是否重复、循环、停不下来；</li>
<li>是否不输出数字或格式错误；</li>
<li>是否知道规则但计算错；</li>
<li>是否完全缺少对应算术能力。</li>
</ul>
<p>如果主要是“答案算到一半就循环”，定向权重编辑可能有效；如果大量题目只是算错，原文的 Gemma 实验提醒我们：不要预设 GPT 改几个权重就能教会它算术。</p>
<p>另外，这篇文章里的“无训练”不等于“零成本”。Qwen 实验用了训练题、前向评估和 50 次反馈机会。它省掉的是梯度训练，不是数据、推理和评估成本。</p>
<h2 id="六对训练成本的启示">六、对训练成本的启示</h2>
<p>如果这种方法稳定、可复现，它可能显著降低“通用模型变成专用模型”的专用化成本：</p>
<ul>
<li>不需要为每种角色重新预训练；</li>
<li>定向编辑权重时，可能不需要反向传播和大规模训练数据；</li>
<li>少了梯度、优化器状态和训练激活的显存开销；</li>
<li>同一个通用底座，可以分别形成架构、开发、测试、运维等专用补丁。</li>
</ul>
<p>但总成本并没有消失，而是转移了：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">总成本 = 通用底座成本 + 专用化成本 + 评估验证成本 + 后续维护成本
</span></span></code></pre></div><p>怎样找到正确修改、怎样证明没有损伤其他能力、怎样保证在新模型上也有效，仍然需要实验和评估。</p>
<p>更准确的说法是：</p>
<blockquote>
<p><strong>它不是让模型能力免费产生，而是可能把昂贵的“重新训练”，替换成更便宜的“定向修改 + 严格验收”。</strong></p>
</blockquote>
<h2 id="七最终需要记住的边界">七、最终需要记住的边界</h2>
<blockquote>
<p><strong>权重空间编程目前最擅长的是找到并修复一个明确故障，而不是替代所有训练、凭空制造能力。</strong></p>
</blockquote>
<p>权重可以被看作一种可学习的机器编码，但不是天然可读的自然语言。真正可靠的证据不是模型“说出了某层是干什么的”，而是它能据此准确预测行为，并通过定向修改得到可重复、可验证的结果。</p>
<p>作者公开了各实验的完整日志，并提到已有外部人员重建、重新评估修改后的 Qwen 权重。当前这份记录只代表对原文的理解，不把作者结果写成我们已经完成的实验。</p>
]]></content:encoded>
    </item>
    <item>
      <title>《图解大模型》</title>
      <link>https://blog.lvxinrong.com/reading/illustrated-llm/</link>
      <pubDate>Thu, 29 Oct 2026 20:00:00 +0800</pubDate>
      <guid>https://blog.lvxinrong.com/reading/illustrated-llm/</guid>
      <description>O’Reilly《图解大模型》（Hands-On Large Language Models）单篇持续追加笔记：随读随记，用视觉图谱对照手写代码。</description>
      <content:encoded><![CDATA[<blockquote>
<p>这本书不拆系列，只维护这一篇 Markdown，读到哪就往下追加到哪。
手搓完《从零构建大模型》之后再翻这本 O’Reilly 动物书（<em>Hands-On Large Language Models</em>），以前看图是“认名词”，现在看图是“对图纸”——正好拿它把生成模型之外的表示模型、语义检索与工程应用拼图补齐。</p>
</blockquote>
<h2 id="开篇为什么翻开这本动物书">开篇：为什么翻开这本动物书</h2>
<p>在<a href="https://blog.lvxinrong.com/craft/last-ripple/">《面试 300 场之后》</a>里我写过自己的藏书习惯：<strong>华章的黑皮书用来啃底层、打地基；O’Reilly 的动物书用来实战、查手册、建全景。</strong></p>
<p>Sebastian Raschka 的《从零构建大模型》带我在车间里把分词器、注意力、残差流和微调循环亲手车了一遍；而 Jay Alammar 和 Maarten Grootendorst 的这本《图解大模型》，则是挂在车间墙上的全景图纸。下面按阅读进度持续追加我的批注与对照。</p>
<hr>
<h2 id="译者序">译者序</h2>
<p>译者序有两个点我很喜欢</p>
<ol>
<li><code>遇到大模型这样大的技术浪潮是我人生最幸运的事情</code> 是的，我也这么觉得。我能遇到的最大的时代红利可能就是AI了</li>
<li><code>系统的了解Transform和大模型的基本原理和能力边界，就如同在大模型的探索之旅中拥有地图和指南针</code> 这两周，手搓了最基本的gptmodel后，遇到新的技术点的时候确实是这样的，比如我现在就是moe就是在ffn层做事情。top-k，top-p，概率采样，温度都是在generate的时候使用，等等。有了地图之后的探索很爽</li>
</ol>
<h2 id="第二章-词元和嵌入">第二章 词元和嵌入</h2>
<p>关于BPE 假设subagent被BPE拆分成了sub和agent两个token。但是模型如果要输出subagent 就需要返回两个sub和agent的token id。但是在解码的时候，是逐个token id解码的，那什么时候才会把sub和agent拼接起来呢？</p>
<blockquote>
<p>假设词表中没有完整的 subagent，只有 sub 和 agent，模型会依次输出这两个 token id。由于这两个 token 本身都不含空格，解码时先分别查表得到 <code>b&quot;sub&quot;</code> 和 <code>b&quot;agent&quot;</code>，再按顺序拼接成 <code>b&quot;subagent&quot;</code>，最后做 UTF-8 解码，就得到 subagent。</p>
<p>BPE 的 merge 发生在 tokenizer 训练和文本编码阶段；解码阶段只做查表与拼接，不重新执行 merge。 空格、换行和标点也包含在 token 中，由模型按上下文预测，不由解码器额外添加。</p>
</blockquote>
<p>在阅读完第二章中关于分词器的介绍，分别介绍了2018年的WordPiece(大小写不敏感) WordPiece（大小写敏感）。 bpe 2019年，flan-t5 2022年， gpt4的bpe 2023年， StarCoder2 2024年，Galactica 等多种分词器</p>
<blockquote>
<p>阅读这些分词器的发展后，我的理解是：分词器首先要把连续文本转换为离散的 token id 序列，但它们关注的问题并不止于“怎样准确地切分词语”。</p>
<p>随着模型任务越来越丰富，tokenizer 还需要在 token 序列中表达文档边界、片段位置、代码缩进以及其他结构信息。因此，一方面通过 BPE 等算法合并高频文本片段，提高编码效率；另一方面通过人为定义的特殊词元，为开始、结束、中间补全等结构提供明确标记。</p>
<p>我感觉这是一种从“词汇级切分”走向“序列级表达”的演进：tokenizer 不只是把一句话拆成若干 token，也在帮助模型组织一整段文本及其上下文结构。不过，特殊词元本身只是协议，模型是否理解这种协议，仍然取决于后续训练。</p>
<p>分词器不只是把文本切碎给模型看，也在把文本的结构告诉模型，让模型能够结合更完整的上下文理解每个 token。</p>
<p>所以特殊领域是可以建立更多的特殊词元，让模型拥有更多的表达能力，比如生物，医药，化学等符号领域，领域词表负责把专业内容表达好，领域训练负责让模型真正学会这些内容。</p>
<p>比如python的缩进符，擅长代码的模型大概率会把首部缩进4个空格看成一个整体处理，而不是独立的四个空格拼接，高频领域格式会被 tokenizer 压缩成整体 token，模型再通过训练学习这些 token 的结构意义。</p>
</blockquote>
<p>关于文本嵌入 书中提到了词元嵌入是LLM运作的关键，但许多LLM应用需要处理完整的句子，段落甚至文本文档，催生了一些特殊的语言模型，能够生成文本嵌入-用单个词向量表示长度超过一个词元的文本片段</p>
<blockquote>
<p>词元嵌入解决的是如何表示局部单元，句子或文档嵌入进一步解决如何表示整体语义。它让计算机可以比较两段文本“意思是否相近”，而不仅是比较它们用了哪些相同词元。至于这种整体表示是否真的保留了语义规律，而不是只记住表面文本，则取决于训练方式和评估。</p>
<p>个人理解，随着模型能力增强，它不必只理解孤立的词元，而可以在上下文中理解词元组合后的整体语义。未来的优化方向不一定是让 token 无限变大，而是在保留组合能力的同时，更高效地表达文本结构。在特定领域或高频固定表达中，将完整短语甚至短句映射为单个 token id，也可能成为一种提高压缩率的探索。但 token 越大，并不意味着表达能力必然越强，还需要权衡词表规模、组合能力和对未见文本的泛化。</p>
</blockquote>
<h2 id="未来探索方向从函数级生成到组件编排">未来探索方向：从函数级生成到组件编排</h2>
<p>由代码领域的结构化特征和函数组合方式，联想到一个企业级系统方向：模型是否一定要从底层逐 token 写代码？能不能让它更多地复用已有函数、API 和组件，把精力放在整体框架与编排上？</p>
<p>最初的想法是把一个原子化函数映射成 token id，让模型直接组装函数。但函数数量庞大且持续变化，语义又依赖参数、返回值、上下文和副作用，直接塞进词表并不利于泛化。更可行的方式是把函数封装成<strong>可发现、可理解、可调用、可验证的能力单元</strong>，由模型生成调用与编排计划。</p>
<p>可以探索多个模型分工协作。这里不是给同一个底层模型切换 Agent 角色、Skill 和提示词，而是让不同能力在<strong>模型训练层</strong>就独立形成：</p>
<ul>
<li><strong>A：架构模型</strong>：面向企业架构设计，在训练阶段引入企业现状、行业优秀架构文档、设计评审、架构决策记录和事故复盘，使模型内化需求拆解、系统权衡、依赖治理和组件复用能力，成为一个真正的架构师角色；</li>
<li><strong>B：开发模型</strong>：面向函数与组件实现，根据架构模型给出的契约完成编码、局部调试和测试修复；</li>
<li><strong>C：测试与验收模型</strong>：面向测试设计、结果分析和验收判断，结合编译、测试等确定性工具，评估系统是否满足需求。</li>
</ul>
<p>这里的分工不是三个提示词 persona，而是三种可以通过不同语料、训练目标和评估集分别优化的模型。Agent + Skill + 提示词仍然存在，但它们主要处于<strong>运行时编排层</strong>：负责把实时企业架构图、当前仓库状态、运行指标、权限与组织约束、工具调用结果等高维信息交给模型，而不是替代模型本身的架构能力。</p>
<p>还需要注意信息的时效性：稳定的架构原则、优秀案例和决策方法可以进入训练语料；频繁变化的企业现状不宜只固化在权重里，更适合由知识库、代码图谱和运行时上下文持续提供。<strong>权重负责内化方法，上下文负责描述当下。</strong></p>
<p>完整闭环应当是：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">架构模型拆解需求并规划组件
</span></span><span class="line"><span class="cl">→ 检索已有组件
</span></span><span class="line"><span class="cl">→ 开发模型补写缺失组件
</span></span><span class="line"><span class="cl">→ 工具执行编译与测试
</span></span><span class="line"><span class="cl">→ 验收模型分析结果并反馈
</span></span><span class="line"><span class="cl">→ 修复或重新规划
</span></span></code></pre></div><p>这个方向未来值得实际探索：它不仅研究 tokenizer 和 Agent 编排，也研究<strong>面向架构、开发、验收的专用模型如何训练，以及模型之间如何通过明确契约组成企业级研发系统</strong>。</p>
<h2 id="第三章重新对齐几个容易混淆的概念">第三章：重新对齐几个容易混淆的概念</h2>
<p>原来用 <code>transformers</code> 三方包加载一个模型居然如此简单。手搓过 V3 / V4 后再看，这种简单不是没有底层步骤，而是框架把它们封装好了：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">config 决定模型结构
</span></span><span class="line"><span class="cl">tokenizer 决定文本与 token 的协议
</span></span><span class="line"><span class="cl">safetensors 保存实际权重
</span></span><span class="line"><span class="cl">forward 定义真正的计算语义
</span></span></code></pre></div><blockquote>
<p><code>from_pretrained</code> 把这些工作藏在了一个统一接口后面。能调用和能理解不是一回事：权重键如何映射、<code>head_dim</code> 是否独立、QK Norm 放在哪里、输出头是否共享、logits 能否对齐，仍然需要实际检查。现在再看这个简单接口，反而更能意识到它替我做了多少事。</p>
</blockquote>
<p>下面是一个使用 Hugging Face <code>transformers</code> 加载 Qwen3-0.6B 并完成一次对话生成的最小示例：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="kn">import</span> <span class="nn">torch</span>
</span></span><span class="line"><span class="cl"><span class="kn">from</span> <span class="nn">transformers</span> <span class="kn">import</span> <span class="n">AutoModelForCausalLM</span><span class="p">,</span> <span class="n">AutoTokenizer</span>
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl"><span class="n">model_id</span> <span class="o">=</span> <span class="s2">&#34;Qwen/Qwen3-0.6B&#34;</span>
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl"><span class="n">tokenizer</span> <span class="o">=</span> <span class="n">AutoTokenizer</span><span class="o">.</span><span class="n">from_pretrained</span><span class="p">(</span><span class="n">model_id</span><span class="p">)</span>
</span></span><span class="line"><span class="cl"><span class="n">model</span> <span class="o">=</span> <span class="n">AutoModelForCausalLM</span><span class="o">.</span><span class="n">from_pretrained</span><span class="p">(</span>
</span></span><span class="line"><span class="cl">    <span class="n">model_id</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">    <span class="n">dtype</span><span class="o">=</span><span class="s2">&#34;auto&#34;</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">    <span class="n">device_map</span><span class="o">=</span><span class="s2">&#34;auto&#34;</span><span class="p">,</span>
</span></span><span class="line"><span class="cl"><span class="p">)</span>
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl"><span class="n">messages</span> <span class="o">=</span> <span class="p">[</span>
</span></span><span class="line"><span class="cl">    <span class="p">{</span>
</span></span><span class="line"><span class="cl">        <span class="s2">&#34;role&#34;</span><span class="p">:</span> <span class="s2">&#34;user&#34;</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">        <span class="s2">&#34;content&#34;</span><span class="p">:</span> <span class="s2">&#34;你好，请用一句话介绍注意力机制&#34;</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">    <span class="p">}</span>
</span></span><span class="line"><span class="cl"><span class="p">]</span>
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl"><span class="n">prompt</span> <span class="o">=</span> <span class="n">tokenizer</span><span class="o">.</span><span class="n">apply_chat_template</span><span class="p">(</span>
</span></span><span class="line"><span class="cl">    <span class="n">messages</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">    <span class="n">tokenize</span><span class="o">=</span><span class="kc">False</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">    <span class="n">add_generation_prompt</span><span class="o">=</span><span class="kc">True</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">    <span class="n">enable_thinking</span><span class="o">=</span><span class="kc">False</span><span class="p">,</span>
</span></span><span class="line"><span class="cl"><span class="p">)</span>
</span></span><span class="line"><span class="cl"><span class="n">inputs</span> <span class="o">=</span> <span class="n">tokenizer</span><span class="p">(</span><span class="n">prompt</span><span class="p">,</span> <span class="n">return_tensors</span><span class="o">=</span><span class="s2">&#34;pt&#34;</span><span class="p">)</span><span class="o">.</span><span class="n">to</span><span class="p">(</span><span class="n">model</span><span class="o">.</span><span class="n">device</span><span class="p">)</span>
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl"><span class="k">with</span> <span class="n">torch</span><span class="o">.</span><span class="n">inference_mode</span><span class="p">():</span>
</span></span><span class="line"><span class="cl">    <span class="n">output_ids</span> <span class="o">=</span> <span class="n">model</span><span class="o">.</span><span class="n">generate</span><span class="p">(</span>
</span></span><span class="line"><span class="cl">        <span class="o">**</span><span class="n">inputs</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">        <span class="n">max_new_tokens</span><span class="o">=</span><span class="mi">128</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">        <span class="n">do_sample</span><span class="o">=</span><span class="kc">False</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">    <span class="p">)</span>
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl"><span class="n">new_token_ids</span> <span class="o">=</span> <span class="n">output_ids</span><span class="p">[</span><span class="mi">0</span><span class="p">][</span><span class="n">inputs</span><span class="p">[</span><span class="s2">&#34;input_ids&#34;</span><span class="p">]</span><span class="o">.</span><span class="n">shape</span><span class="p">[</span><span class="mi">1</span><span class="p">]:]</span>
</span></span><span class="line"><span class="cl"><span class="n">answer</span> <span class="o">=</span> <span class="n">tokenizer</span><span class="o">.</span><span class="n">decode</span><span class="p">(</span><span class="n">new_token_ids</span><span class="p">,</span> <span class="n">skip_special_tokens</span><span class="o">=</span><span class="kc">True</span><span class="p">)</span>
</span></span><span class="line"><span class="cl"><span class="nb">print</span><span class="p">(</span><span class="n">answer</span><span class="p">)</span>
</span></span></code></pre></div><p>如果权重已经下载，可以把 <code>model_id</code> 换成本地模型目录，例如：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="n">model_id</span> <span class="o">=</span> <span class="s2">&#34;/Users/lv/lv_repo/squid-llms/data/model_pth/qwen3/qwen3-0_6b&#34;</span>
</span></span></code></pre></div><p>这段代码里，框架接管了模型类选择、配置读取、权重加载和设备映射；对话模板、生成参数和新增 token 的截取仍然清晰可见。<code>enable_thinking=False</code> 是为了让示例直接给出回答，改为 <code>True</code> 可以观察思考模式；<code>max_new_tokens</code> 限制的是思考与正式回答的总生成量。最后只解码 <code>output_ids</code> 中新增的 token，避免把原始 prompt 再打印一遍。</p>
<p>自回归模型就是使用早期预测来进行后续预测的模型。更具体地说，第 <code>t</code> 个 token 的条件概率只依赖它之前的 token：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">p(x₁...xₙ) = ∏ p(x_t | x_&lt;t)
</span></span></code></pre></div><blockquote>
<p>这个依赖关系也解释了为什么训练并行不等于生成并行。训练时，目标 token 已经存在，可以一次传入整段序列，通过矩阵运算并行计算所有位置；因果掩码负责阻止每个位置偷看未来。推理的 Prefill 阶段也可以并行处理已有 prompt，但 Decode 仍然要先把上一个 token 生成出来，才能把它加入历史并预测下一个 token。</p>
<p>所以 Transformer 相对 RNN 的并行优势，主要体现在训练与 Prefill 的矩阵计算上，不是自回归生成从此摆脱了顺序依赖。</p>
</blockquote>
<p>FlashAttention 是一种广受欢迎的方法和实现，可以显著提升 GPU 上 Transformer LLM 的训练和推理速度。它通过优化片上 SRAM 与高带宽内存（HBM）之间的数据加载和迁移来加速注意力计算。</p>
<blockquote>
<p>FlashAttention 的重点不是减少参与注意力的 token，也不是把 Dense Attention 改成 Sparse Attention，而是用分块、重算等方式减少完整注意力分数矩阵在 HBM 上的读写。它保持标准注意力的数学语义，主要改变计算与内存访问方式。</p>
<p>这也再次说明：调用 <code>scaled_dot_product_attention</code> 不等于已经确认使用 FlashAttention。SDPA 是统一算子入口，具体后端仍取决于设备、dtype、形状和 mask；我的 V4 当前手写 eager 路径，则把矩阵乘法、掩码、softmax 和加权求和完整展开，便于观察主干。</p>
</blockquote>
<p>稀疏注意力和滑动窗口注意力目前尚未实际实现，暂时只记录它们与 FlashAttention 的区别：它们都在探索如何降低注意力成本，但路径不同。</p>
<ul>
<li><strong>FlashAttention</strong>：基本不改变注意力连接关系，重点优化计算与内存 IO；</li>
<li><strong>稀疏注意力</strong>：只选择部分历史位置参与计算，减少计算量，也改变信息可达范围；</li>
<li><strong>滑动窗口注意力</strong>：每个位置主要关注附近的固定窗口，用局部性换取效率，需要结合层间传播、全局层或其他机制补充长距离信息。</li>
</ul>
<p>这一章没有特别多需要抄写的新概念，真正值得留下的是三条边界：<strong>框架封装不等于没有底层步骤；训练并行不等于生成并行；IO 优化不等于减少注意力位置。</strong> 稀疏注意力、滑动窗口和其他新结构，等真正手搓到对应主干时再补实现笔记。</p>
]]></content:encoded>
    </item>
  </channel>
</rss>
