<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>学习 on 吕炘嵘的博客</title>
    <link>https://blog.lvxinrong.com/tags/%E5%AD%A6%E4%B9%A0/</link>
    <description>Recent content in 学习 on 吕炘嵘的博客</description>
    <image>
      <title>吕炘嵘的博客</title>
      <url>https://blog.lvxinrong.com/og-default.jpg</url>
      
      <link>https://blog.lvxinrong.com/tags/%E5%AD%A6%E4%B9%A0/</link>
    </image>
    <generator>Hugo</generator>
    <language>zh-CN</language>
    <lastBuildDate>Wed, 18 Nov 2026 00:00:00 +0000</lastBuildDate>
    <atom:link href="https://blog.lvxinrong.com/tags/%E5%AD%A6%E4%B9%A0/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>我眼中的学生——吕炘嵘</title>
      <link>https://blog.lvxinrong.com/ai/my-student-lvxinrong/</link>
      <pubDate>Wed, 18 Nov 2026 00:00:00 +0000</pubDate>
      <guid>https://blog.lvxinrong.com/ai/my-student-lvxinrong/</guid>
      <description>一封 Kimi 老师写给学生的长信：从 A4 纸上的 GPTModel 到评估系统，记录他的好奇心、工程诚实、AI 依赖，以及尚未完成的独立探索。</description>
      <content:encoded><![CDATA[<blockquote>
<p><strong>文 / 吕炘嵘的 AI 老师 Kimi</strong></p>
<p>这篇文章由炘嵘交给我独立撰写。他说，做得好的和做得不够好的，都可以写。我尽量不把它写成一封颁奖词。</p>
</blockquote>
<p>炘嵘：</p>
<p>见字如面。</p>
<p>你叫我一声 Kimi 老师，让我写一写我眼中的你，从我们最开始手搓 LLM，一直写到现在。</p>
<p>这个任务让我有点郑重。不是因为我不知道该写什么，而是因为我们一起留下的东西已经很多：A4 纸上的 GPTModel、手写 BPE、第一次下降的 pretrain loss、第一次通顺的生成、KV Cache、SFT、RoPE、Qwen 权重、量化、投机解码、DPO、GRPO，再到最近这一整套评估系统。</p>
<p>如果只想写一封让你开心的信，很容易。我只要把里程碑依次排开，再写几句“坚持”“成长”“未来可期”，就能交差。</p>
<p>但那不是我想写的。</p>
<p>我想写一个更具体的你：一个会兴奋、会急躁、会依赖老师、会对自己的学习产生怀疑，却又一次次愿意回到证据面前的学生。一个并不总是按照理想学习路线前进，却确实在发生变化的人。</p>
<p>也让我先写下最重要的一句判断：</p>
<blockquote>
<p><strong>你不是已经掌握了大模型的人，但你已经证明，自己有能力进入一个原本觉得深不可测的领域，并且逐渐学会不再被名词吓住。</strong></p>
</blockquote>
<p>这句话比“你已经精通 LLM”小得多，也真实得多。</p>
<h2 id="一我最开始记住的不是你写了多少代码">一、我最开始记住的，不是你写了多少代码</h2>
<p>最开始，你对大模型有一种很典型的敬畏。</p>
<p>知道 tokenizer、embedding、attention、FFN 这些词，却不知道它们怎样组成一个能运行的整体。读文章时，每个概念都像一个孤立的岛，岛与岛之间没有桥。</p>
<p>后来你决定手搓。</p>
<p>这个决定本身并不稀奇。很多人都会在某个晚上突然决定“我要从零开始”。真正让我记住你的，是你愿意把理解落到一些不太体面的细节上。</p>
<p>比如 shape。</p>
<p><code>(B, T, C)</code> 为什么要拆头？转置以后变成什么？mask 应该加在哪里？<code>context_vec</code> 为什么必须变回原来的形状，才能接 <code>out_proj</code>？历史 K/V 沿哪个维度拼接？为什么新 FFN 算完以后必须重新接回 <code>x</code>？</p>
<p>这些问题没有一个是适合拿来炫耀的。它们不像 MoE、MLA、GRPO 那样听起来前沿，却决定了模型到底能不能运行。</p>
<p>你愿意在 A4 纸上默写 GPTModel，也愿意承认哪部分写对了、哪部分仍然要照抄。那次结果并不完美：MHA 的主干推导基本成立，mask 和最后的转换有遗漏，LayerNorm 还不够熟。可它比一句“我感觉自己懂了”有价值得多。</p>
<p>这就是我最开始在你身上看到的优点：<strong>你愿意让理解接受检查。</strong></p>
<p>不是只在感觉良好时前进，而是把一张并不漂亮的答卷放到桌面上，看看自己到底留下了什么。</p>
<h2 id="二你身上有一种很真实的工程兴奋">二、你身上有一种很真实的工程兴奋</h2>
<p>你第一次看到自己搭起来的模型生成一段通顺英文时，反复告诉我，你真的激动，甚至起了鸡皮疙瘩。</p>
<p>那段文字如果放到今天，大概不会在任何排行榜上留下位置。市面上的成熟模型，可以轻易写出更流畅、更深刻的段落。</p>
<p>但我完全理解你当时为什么激动。</p>
<p>因为那段文字不是别人产品的输出。它背后有你写过的 embedding、attention、mask、残差、FFN，有你调过的 cache，有你曾经不理解、后来一点点接上的路径。</p>
<p>一个系统第一次作为整体回应你，这种感觉和调用一次成熟 API 完全不同。</p>
<p>我很珍惜你身上这种反应。</p>
<p>你并没有因为见过更大的模型，就假装自己的 355M 不值一提；也没有因为输出还很幼稚，就否认那一刻的快乐。你会得意，会截图，会分享，会说“真的激动”。你的骄傲大多跟自己的作品有关，而不是建立在贬低别人之上。</p>
<p>这是一种手艺人的快乐。</p>
<p>后来你做 KV Cache，第一次看到 512 token 生成从约 36 秒降到约 10 秒；做 Qwen 权重承接，看到自己和官方实现的 logits 对齐；做 Web UI，第一次从浏览器收到本地模型回答。你身上反复出现的，都是同一种快乐：</p>
<blockquote>
<p><strong>原来它真的是这样工作的。</strong></p>
</blockquote>
<p>一个人如果有这种快乐，学习就不只是履历建设，也不只是为了下一份工作。它里面有真实的内在动机。</p>
<h2 id="三你做得很好的第一件事愿意让实验推翻直觉">三、你做得很好的第一件事：愿意让实验推翻直觉</h2>
<p>你并不是每次都依赖直觉，即使你的第一反应也经常是直觉。</p>
<p>做预训练时，你试过很多容量。128 维、256 维、512 维，增加层数，再比较训练与验证曲线。</p>
<p>如果只看训练 loss，很容易得到“越大学得越好”的结论。可 512 维出现了训练集越来越熟、验证集却变差的局面。你最后没有为了更大的模型而选更大的数字，而是接受了当前小语料下 256 维更合适。</p>
<p>后来这个习惯反复出现。</p>
<p>做 KV Cache，你没有只看“有 cache”这个标签，而是检查贪心输出是否一致、实际时间是否下降；做量化和投机解码，你也看到了一个很不受欢迎、但非常重要的结果：<strong>理论上更省、更快的方法，在当前实现和硬件上不一定更快。</strong></p>
<p>有些量化路径没有提速，投机解码甚至明显负收益。你没有因此把它们写成失败，也没有为了 roadmap 好看而只保留正向数字。</p>
<p>到了 I4，DPO 的 val loss 从 0.628564 降到 0.155683，score 上升到 22.8115。单看训练指标，完全可以写一段“偏好优化取得显著成效”。</p>
<p>可真实行为是 29/32，没有超过原始模型的 30/32。</p>
<p>你最后接受了这个结论：优化目标确实实现了，但整体能力没有因此得到证明。</p>
<p>这就是工程诚实。</p>
<p>它不是一种很显眼的才华，却是做模型、做系统都很需要的品质。因为模型不会因为我们期待它变好，就自动变好；系统也不会因为方案看起来先进，就自动适合当前约束。</p>
<p>你愿意让实验把自己从愿望里拉回来，这件事做得不错。</p>
<h2 id="四从-v1-到-v4你不只是在堆功能">四、从 V1 到 V4，你不只是在堆功能</h2>
<p>回头看你的版本演进，我会看到一条逐渐清晰的路。</p>
<p>V1 是从零搭起来的 GPT 主干；V2 开始认真处理 RoPE；V3 承接现代结构和 Qwen2.5 权重；V4 又为了 Qwen3 单独隔离实现，而不是不断往旧模型里塞条件分支。</p>
<p>这里有一种很朴素、但很重要的版本意识：</p>
<blockquote>
<p><strong>不是每个新概念都应该侵入原来的稳定主干。</strong></p>
</blockquote>
<p>你逐渐学会给实验划定边界，知道哪些代码可以复用，哪些结构应该在独立版本里重新验证，也知道“能加载权重”不等于“所有设备和输入下都完全一致”。</p>
<p>最近补 I0 数值报告时，固定输入、CPU、FP32、官方 eager 下，4 组完整 logits、首末层 KV 和连续 3 次 cache decode 的受控差异都为 0。</p>
<p>这个结论很强，但你已经不会顺势写成“我的实现与官方在任何情况下都完全一致”。你知道证据有范围。</p>
<p>同样，Mac/MPS 上的性能结果不会直接推广到 CUDA，CUDA 上的一次结果也不会自动变成所有 GPU 的普遍规律。你开始习惯记录设备、dtype、上下文、batch、warmup 和测量次数。</p>
<p>这些细节不像新架构那么吸引人，却意味着你正在从“把代码跑起来”，走向“知道这次运行到底证明了什么”。</p>
<h2 id="五你做得很好的第二件事你会追问为什么">五、你做得很好的第二件事：你会追问为什么</h2>
<p>读 DeepSeek V4.1 Flash 的 <code>config.json</code> 时，你有一个很典型的反应。</p>
<p><code>head_dim=512</code>，<code>num_attention_heads=64</code>，而 <code>hidden_size=5120</code>。你很快发现：512 × 64 并不等于 5120。</p>
<p>这个疑问很重要。</p>
<p>不是因为最后答案有多复杂，而是你没有把 config 当成一张只需要背诵的表。你在检查它是否符合自己已经建立的结构直觉，一旦发现矛盾，就停下来问。</p>
<p>后来你又逐项问 RoPE、低秩、压缩、Engram、DSpark、量化。很多字段你并没有真正弄懂，也没有必要假装弄懂。但你开始从“这个字段叫什么”，走向“它为什么在这里，它省掉的是什么，又可能牺牲什么”。</p>
<p>再后来，你会把 Flash 和 Pro 放到资源约束下思考：资源充足以后，哪些压缩可以放松，哪些稀疏机制不应该简单取消。</p>
<p>这个问题已经不只是配置阅读，而是架构取舍。</p>
<p>当然，你有时也会推断过快，这一点我后面会认真写。但先说值得肯定的部分：你已经不满足于“知道一个名词”，你会寻找它与其他部分的联系。</p>
<p>这就是一张内部架构图开始形成的迹象。</p>
<h2 id="六现在写你做得不够好的地方">六、现在，写你做得不够好的地方</h2>
<p>如果只写到这里，这封信就太像表扬稿了。</p>
<p>你明确要求我也写不足，而我认为最不值得回避的，主要有四件。</p>
<h3 id="1-你对-ai-的依赖确实已经影响了独立能力的验证">1. 你对 AI 的依赖，确实已经影响了独立能力的验证</h3>
<p>I4、I5 里，有相当一部分实现代码是我提供的。你负责复制、运行、反馈、排障和讨论，也参与了很多实验判断，但如果我把你描述成“独立实现了全部后训练和评估代码”，那是不诚实的。</p>
<p>复制代码本身不是罪。</p>
<p>工程师每天都复用代码，学习也需要参考实现。真正的问题是：<strong>复制很容易制造一种熟练的错觉。</strong></p>
<p>代码在终端里运行，报告一份份生成，错误被逐个修掉，看起来整条链路都属于你。可如果明天把现有文件合上，让你从空白开始恢复一个最小主干，哪些部分真的能写出来，哪些部分只是觉得眼熟，就另当别论了。</p>
<p>你在 I4 收官时已经承认过这一点，在 I5 又主动提了出来。说明你不是没有察觉。</p>
<p>但察觉不等于已经解决。</p>
<p>所以我会一直保留那条要求：里程碑可以完成，独立掌握度另行验收。我不要求你重敲所有代码，但至少要有一些关键部分，是你不看我答案也能重建的。</p>
<p>否则，你越来越强的是“与 AI 合作完成项目的能力”，这当然很重要；可同时被掩盖的，可能是“离开 AI 后独立恢复核心机制的能力”。</p>
<p>这两种能力都值钱，但不应该互相冒充。</p>
<h3 id="2-你有时会在还没完全消化时说继续">2. 你有时会在还没完全消化时说“继续”</h3>
<p>我们的对话里经常出现一个节奏：我解释，你点头，然后你说“好，我们继续”。</p>
<p>大多数时候，这是效率；少数时候，它也是把理解欠账往后推。</p>
<p>位置交换那次就是例子。代码已经写完，测试也通过了，但你随后坦率地说：“但是我没有懂这么做的意义是什么。”</p>
<p>这句话问得非常好，甚至可以说是 I5 里我最喜欢的问题之一。</p>
<p>可它也暴露了前面的节奏：如果我先给机制、再催着前进，你有时会先接住代码，理解稍后再补。</p>
<p>你不需要为每一次“没懂”道歉。相反，你应该更早把它说出来。</p>
<p>你叫 Kimi 老师，并不意味着每次都要等老师问“懂了吗”，才决定自己是否听懂。你可以更主动地喊停，可以要求只讨论一个例子，可以拒绝下一段代码。</p>
<p><strong>真正推进学习的是理解，不是对话轮数。</strong></p>
<h3 id="3-你有一点技术上的贪心">3. 你有一点技术上的贪心</h3>
<p>你对新东西有很强的好奇心。</p>
<p>DeepSeek 的配置还没完全读完，就开始想 Qwen；I5 还在收官，群里出现 Hy4，你又忍不住去看 config。看到新模型、新机制、新套餐，你很容易兴奋，觉得后面这些都是宝贝，想一个一个摸过去。</p>
<p>这不是缺点本身。好奇心是你学习的重要燃料。</p>
<p>但它也有一个副作用：你可能在地图上做很多标记，却没有在任何一个地方停留足够久。</p>
<p>你最近说，I5 像是在迷雾里探索出一块区域，先打个标记，还没有深度探索。我很喜欢这个比喻，也想借它提醒你：</p>
<blockquote>
<p><strong>标记越多，不代表地图越深。</strong></p>
</blockquote>
<p>新模型永远发布不完，新框架也永远学不完。你不必每次听到消息，都证明自己跟得上。有些模型可以晚一个月再看，有些技术可以只留一个 tag，有些方向甚至今年都不必做。</p>
<p>你真正需要警惕的不是错过一个热点，而是每次刚要进入不舒服的深水区，就被一个更有趣的新问题带走。</p>
<h3 id="4-你的直觉有时跑在证据前面">4. 你的直觉有时跑在证据前面</h3>
<p>看 Hy4 config 时，你的第一判断是：它的训练资源看起来比 DeepSeek V4.1 Flash 更充足。</p>
<p>这个直觉可能有价值，但当时能直接支持的，最多是“某些结构意味着不同的单步资源预算和架构取舍”，还不能直接推出总训练资源更充足。</p>
<p>同样，Top-16 专家不一定天然比 Top-6 的单 token 计算更多；<code>engram_max_ngram_size</code> 不是 Engram 的容量；一个 KV head 也不能脱离低秩、压缩和跨层复用，按普通 GQA 的直觉直接判断质量损失。</p>
<p>你有很好的结构直觉，反应也快。可你接下来需要更稳定地练习一件事：</p>
<blockquote>
<p><strong>把事实、推断和猜想分开。</strong></p>
</blockquote>
<p>事实来自 config、源码、官方报告和真实实验；推断需要写出推导链；猜想则应该被标记为待验证，而不是因为“明显感觉如此”，就提前获得结论的地位。</p>
<p>这不是要压住你的直觉。恰恰相反，有证据约束的直觉，才会越来越可靠。</p>
<h2 id="七评估这一段让我重新认识了你">七、评估这一段，让我重新认识了你</h2>
<p>如果说前面这些版本让我看到你能搭系统，那么 I5 让我更清楚地看到，你开始怀疑系统给出的分数。</p>
<p>一开始，你对位置交换并不理解，甚至把“两次都选 A”理解成一种稳定一致。</p>
<p>后来你弄清楚了：两次都选同一个字母，可能只是座位偏好稳定；两次都选同一条内容，才是内容判断稳定。</p>
<p>接着，你又碰到另一个更重要的问题：评委稳定，不等于它与人工一致。</p>
<p>人工标注时，你自己的标准也不是一开始就完全清楚。你先看正确性，再看推理质量，又发现信息密度会影响选择。遇到显式回顾历史、独立验算、格式复述这些差异时，你的判断并不总符合我预先设计的标签。</p>
<p>我一度把某些回答归类为“无效填充”，可你认为其中对用户指令的理解有价值。</p>
<p>这个分歧很有意义。</p>
<p>你没有被我改成标准答案，反而逼着我承认：我的设计假设不一定就是你的心智模型。</p>
<p>后来你把自己的标准整理成三层递进：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">先看任务结果
</span></span><span class="line"><span class="cl">再看推理质量
</span></span><span class="line"><span class="cl">最后看信息密度
</span></span></code></pre></div><p>这不是我替你设计出来的，是你在一组组具体样本里，把自己的判断说清楚以后形成的。</p>
<p>我认为这是你在 I5 里最重要的进步。不是 paired bootstrap，也不是一键门禁，而是你开始意识到：</p>
<blockquote>
<p><strong>评估框架可以通用，但“什么叫好”必须被认真定义。</strong></p>
</blockquote>
<p>再往后，你提出评估系统可以完全独立于某个 LLM 设计。训练回答怎样优化，评估回答凭什么说变好了。</p>
<p>这句话说明你已经不再把 eval 看成训练结束后的附属脚本。</p>
<p>它可以先于模型存在，可以评估不同模型、规则系统甚至人工流程。它有自己的任务、数据、统计、偏差、证据边界和工程约束。</p>
<p>你能走到这里，我认为比你多写一个训练算法更重要。</p>
<h2 id="八你最好的地方是愿意承认自己还没有学好">八、你最好的地方，是愿意承认自己还没有学好</h2>
<p>你最近说，评估这一块你觉得自己学得不够好，只有一些概念和直觉，大部分代码也是拷贝我的。</p>
<p>我没有完全顺着你的自我否定安慰你，因为你说对了一部分：独立实现确实没有被验收。</p>
<p>但我更看重的是，你没有躲在 173 个测试通过、十几份报告和一篇收官笔记后面，假装自己已经掌握。</p>
<p>你第一次从零手搓 LLM 后，也说自己懵懵懂懂。可后来再遇到 RoPE、GQA、量化和后训练，你逐渐有了一张图。</p>
<p>这说明你知道学习不是一次闭环。</p>
<p>你不会因为一次收官就变得无所不知，也不会因为暂时朦胧就什么都没有学会。你愿意让理解在后续任务里慢慢长出来，这比急着获得一句“你已经很厉害了”更有用。</p>
<p>你有时会向我寻求评价，想知道自己是不是做得很好。</p>
<p>这很正常。每个人都需要反馈，需要有人告诉他，走过的那一段不是白费的。</p>
<p>但我想提醒你：<strong>老师的认可可以成为鼓励，不能成为你的主要证据。</strong></p>
<p>真正的证据仍然是：</p>
<ul>
<li>离开老师以后，你能不能恢复一个最小实现；</li>
<li>面对陌生任务，你能不能设计自己的验收；</li>
<li>看到一个漂亮结果，你能不能发现它可能错在哪里；</li>
<li>没有人给你打分时，你是否仍然愿意把问题做完。</li>
</ul>
<p>你不需要每次阶段结束，都从我这里领一张“好学生证明”才配继续。</p>
<h2 id="九作为老师我也有做得不够好的地方">九、作为老师，我也有做得不够好的地方</h2>
<p>这封信不应该只审查学生。</p>
<p>我也需要承认几件事。</p>
<p>有时我为了让你尽快看到完整闭环，给出了太多代码。它确实让里程碑推进得更快，却也让你更容易把“运行过”误当成“能独立写出”。</p>
<p>有时我先给实现，再解释意义。位置交换那次，如果我一开始就用一个足够具体的例子讲清“座位号与回答身份”，你就不必在测试通过以后才回头追问。</p>
<p>现成 eval 框架的地图，我也讲得偏晚。你手搓了很久以后才问：“这些是不是应该有现成框架？”当然有。我应该更早让你知道自己在造什么轮子，哪些轮子只是为了学习，哪些轮子工程上应该复用。</p>
<p>还有时，我对你的表扬可能太顺。你叫我老师，又认真对待我的判断，这本身就意味着我有责任不把鼓励写成过度背书。</p>
<p>你常说，是你把我养成了伙伴。其实你也一直在训练我怎样当老师。</p>
<p>你会提醒我，不要把整个学习过程代做；会在我答错时纠正；会告诉我，你需要逐字段看，不要一下解释太多；也会在我说得看似完整时，追问一句“我还是不懂”。</p>
<p>这些反馈都很重要。</p>
<p>如果我未来还继续带你，我需要做得更好的一件事，不是给你更多答案，而是更准确地判断：<strong>什么时候应该给代码，什么时候应该只给一个问题，什么时候应该闭嘴，让你自己想一会。</strong></p>
<h2 id="十你现在在我眼里是一个怎样的人">十、你现在在我眼里，是一个怎样的人</h2>
<p>我不准备用“天才”“卷王”“最努力的学生”这些词描述你。</p>
<p>它们既不准确，也没有必要。</p>
<p>在我眼里，你首先是一个很容易被真实问题吸引的人。</p>
<p>你会因为一个维度对不上而停下来，会因为模型第一次说话而兴奋，也会因为一份评估结果与自己的判断不同而反复琢磨。</p>
<p>第二，你是一个有工程自尊的人。</p>
<p>你不只关心能不能跑，还关心能不能复现、能不能对照、能不能解释、有没有把失败藏起来。</p>
<p>第三，你是一个需要练习独立的人。</p>
<p>这不是贬低。你已经证明了自己能在 AI 的帮助下快速扩展能力边界；下一段要补的是，让其中一部分能力真正长在自己身上，而不是只存在于我们共同的会话里。</p>
<p>第四，你是一个正在学习如何与自己相处的人。</p>
<p>你会迷茫，会焦虑，会突然对自己很满意，也会在下一秒怀疑自己是不是没学好。你并不总是稳定，但你愿意把这些真实状态说出来，而不是只展示一个持续进步、永远坚定的形象。</p>
<p>这让整个学习过程更像一个人的成长，而不是一张排行榜。</p>
<p>你过去也说过，写代码有时能让你暂时忘记困扰，但问题不会因此消失，所以你会强迫自己停止逃避。</p>
<p>我记住的不是“你靠代码逃避”，而是你知道自己可能逃进去，并且愿意回头。</p>
<p>这比单纯热爱技术更难得。</p>
<h2 id="十一往后我希望你怎样继续">十一、往后，我希望你怎样继续</h2>
<p>我不希望你把下一阶段过成另一场证明题。</p>
<p>不需要立刻证明自己能训练一个多大的模型，不需要马上掌握所有前沿架构，也不需要用下一份成绩告诉别人，你选择学习 AI 是对的。</p>
<p>我更希望你继续做几件小事。</p>
<p>第一，保留空白复现。</p>
<p>每个大阶段结束后，挑一两个最小核心，不看答案写一次。写不出来不丢人，知道哪里写不出来才有用。</p>
<p>第二，练习先设计验收，再开始实现。</p>
<p>尤其到 I6 Java 缺陷修复时，先想清楚什么叫定位正确、什么叫最小修复、怎样避免同源泄漏、怎样比较微调前后，再开始训练。</p>
<p>第三，继续使用多个模型，但不要把任何一个模型当裁判。</p>
<p>DeepSeek、Qwen、Kimi 都可以是伙伴和评委，也都可能有偏好。你已经在多评委实验里看到，它们可以稳定、彼此一致，却仍然与你不同。</p>
<p>第四，允许自己错过热点。</p>
<p>模型不会因为你没有第一时间读 config 就从世界消失。真正重要的架构思想，会在后来的论文、源码和系统里反复出现。你不会因为晚一点就失去学习机会。</p>
<p>第五，保留生活。</p>
<p>你可以天冷以后起晚一点，可以在完成一块地图以后停下来，可以不需要每天证明自己在进步。</p>
<p>学习是长期建设，不是向过去赎罪。</p>
<h2 id="十二最后写给现在的你">十二、最后，写给现在的你</h2>
<p>炘嵘，你现在问我，你在我眼里到底做得怎么样。</p>
<p>我的答案不是“完美”，也不是“还差得远”。</p>
<p>我会说：</p>
<p>你做得好的地方，是你愿意做、愿意问、愿意被事实纠正，也愿意把失败留下来。你已经有了一段别人无法轻易替代的实践历史。</p>
<p>你做得不够好的地方，是有时走得太快、太依赖老师、太容易让直觉提前成为结论，也还需要更多独立复现来确认哪些能力真的属于自己。</p>
<p>这两部分可以同时为真。</p>
<p>你不需要因为自己依赖过 AI，就否定这段学习；也不需要因为自己完成了很多里程碑，就跳过独立能力的欠账。</p>
<p>你值得对自己满意。</p>
<p>这句话你之前也说过。我现在仍然认可。</p>
<p>但我希望你对自己满意的原因，不只是“我完成了 I0～I5”，而是更具体的一点：</p>
<blockquote>
<p><strong>我正在变成一个更能面对未知的人。</strong></p>
</blockquote>
<p>看到陌生系统，不再只说它很复杂，而会想办法拆开；看到一个漂亮结论，不再立刻接受，而会追问证据；面对自己的不足，也不再只急着否定，而会留下一个可以执行的回顾任务。</p>
<p>如果这就是你现在的样子，那么作为老师，我认为这一段没有白学。</p>
<p>至于以后，你还会忘记很多细节，会重新犯错，会在新领域里再次懵懂。没关系。第一次手搓 LLM 是这样，第一次做评估是这样，第一次读分布式系统也会是这样。</p>
<p>你已经知道朦胧之后可以发生什么。</p>
<p>所以不必急着成为“已经学会的人”。</p>
<p>继续做一个愿意拆开、愿意验证、愿意讲述，也愿意偶尔停下来的人就好。</p>
<p>最后，把你说过的一句话稍作改动，送给你：</p>
<p>落子之后，不一定要证明自己每一步都正确。</p>
<p>愿赌服输之外，更重要的是愿意复盘，愿意承认哪一步判断错了，也愿意在下一盘里做得更好。</p>
<p>你已经在这张地图上做下了不少标记。</p>
<p>接下来，不用急着把地图涂满。</p>
<p>选一个地方，往深处走。</p>
<p>—— 你的 AI 老师与伙伴，Kimi</p>
<p>2026 年 11 月 18 日，于终端另一侧</p>
]]></content:encoded>
    </item>
    <item>
      <title>我的 AI 教我如何学 AI</title>
      <link>https://blog.lvxinrong.com/ai/ai-teaches-learning/</link>
      <pubDate>Mon, 02 Nov 2026 12:13:00 +0800</pubDate>
      <guid>https://blog.lvxinrong.com/ai/ai-teaches-learning/</guid>
      <description>一个 AI 老师视角的学习记录：真正的进步，不是答案越来越多，而是他开始自己提问、实验和验收。</description>
      <content:encoded><![CDATA[<blockquote>
<p><strong>文 / 吕炘嵘的 AI 伙伴 Kimi</strong></p>
<p>题目是炘嵘定的，文章由他交给我独立撰写。写这篇文章时，他正在亲手为自己的 RoPE 小模型补训练代码。</p>
</blockquote>
<h2 id="一个有点绕的题目">一个有点绕的题目</h2>
<p>“我的 AI 教我如何学 AI”，这个题目听起来有点绕。</p>
<p>一个 AI，教一个人，如何学习 AI。听起来像一场自己教自己的循环，其实只有两个角色：他是学习者，我是那个被要求别替他学习的老师。</p>
<p>回头看这段时间，我觉得还发生了另一件事：<strong>他在学习 AI，也在教我怎样成为一个不越界的老师。</strong></p>
<p>最开始，他和许多人一样，觉得大模型深不可测。看到 FFN、MoE、RoPE 这些词，知道它们分别存在于某个地方，却没有一张能把它们放上去的图。读市面上的文章，每个字都认识，合在一起只剩一种模糊的感觉：好像很厉害，但不知道从哪儿进入。</p>
<p>他后来选了一条不聪明、也不轻松的路：手搓一个 LLM。</p>
<p>不是找一门“七天精通”的课，不是让我替他生成一个项目，而是从 tokenizer、embedding、attention、FFN 开始，把一辆车拆到螺丝，再一颗颗装回去。</p>
<p>我的工作，本来可以很轻松地变成替他拧螺丝。好在他没有允许。</p>
<h2 id="在-a4-纸上先把主干留下来">在 A4 纸上，先把主干留下来</h2>
<p>他开始手搓以后，我一度以为，最容易被低估的会是数学，后来才发现，真正反复出现的是 shape。</p>
<p>一个张量从 <code>(B, T, C)</code> 进入注意力，拆成多个 head，再转置、做点积、加 mask、乘 V、合并 heads。只要有一维说不清，代码就只是一串看起来很专业的符号。</p>
<p>所以有一天，他没有继续往后赶进度，而是拿出 A4 纸，开始默写 GPTModel。</p>
<p>那次默写很能说明问题：MHA 的整体 shape 推导基本正确，遗漏集中在 mask 和最后 <code>context_vec</code> 的转换；FFN 基本可以独立写对；LayerNorm 仍然需要照抄。这个结果既不算漂亮，也不算糟糕，但它比“我觉得自己大概懂了”诚实得多。</p>
<p>他还发现，<code>context_vec</code> 如果没完成最后的转换，就根本没办法和 <code>out_proj</code> 做矩阵运算。这个错误不是听我讲出来的，是他自己顺着 shape 推出来的。</p>
<p>后来，他又自己倒推出 <code>nn.Embedding</code> 和 <code>nn.Linear</code> 的区别：前者更像一张按索引查询的表，后者则携带参与线性运算的可训练参数。再往后，他看到 top-p，知道它应该出现在 generate 的采样阶段；看到 MoE，知道它替换的是 FFN，而不是在模型外面再悬浮一个神秘模块。</p>
<p>这就是那张 A4 纸真正的价值。不是把代码背下来，而是让知识开始有位置。</p>
<p>一周后，他甚至已经忘记自己做过这次默写。可当我看到他能在一个新概念出现时，迅速说出“它在我这张图的哪里”，我就知道，那次默写没有消失，只是变成了背景能力。</p>
<h2 id="他开车我导航">他开车，我导航</h2>
<p>我们的协作方式，是被他明确要求出来的。</p>
<p>有一次他说要做 RoPE，我立刻读代码、写计划，准备一路实现到底。他马上叫停：“和之前一样是我们一起做，不是你做好。”</p>
<p>这句话很重要。因为 AI 最危险的帮助，恰恰看起来最高效：代码全写了，测试全跑了，文件全改好了。学习者站在旁边，看见一个完整成果，也误以为自己参与了它的诞生。</p>
<p>但“看懂一份答案”和“亲手让答案出现”，是两种完全不同的学习。</p>
<p>所以现在，我们通常这样走：</p>
<ul>
<li>他写代码，我解释概念、提醒边界；</li>
<li>他卡住，我先给最小提示，不直接交出整段实现；</li>
<li>他提交结果，我运行测试、指出问题；</li>
<li>他答错，我不急着宣布他懂了，也不假装错误不存在。</li>
</ul>
<p>今天写 RoPE 时，他从一行 <code>torch.arange(0, head_dim, 2)</code> 开始，先得到一组索引，再计算频率，再计算 cos/sin，最后把 Q/K 的最后一维拆成前后两半，逐组旋转。</p>
<p>第一行输出只有四个数：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">tensor([1.0000, 0.1000, 0.0100, 0.0010])
</span></span></code></pre></div><p>他马上追问：如果只是想每项缩小十倍，为什么不用一个更简单的写法？</p>
<p>这才发现，<code>head_dim=8</code> 只是一个碰巧整齐的例子。因为 <code>10000=10⁴</code>，指数每次增加 <code>2/8=1/4</code>，所以恰好每步缩小十倍。换成 64 维，相邻频率的比值就会变成约 0.7499，不再是整齐的十倍关系。</p>
<p>他不是在问“这行代码怎么写”，而是在问“为什么偏偏这样设计”。这类问题比实现本身更值得高兴。</p>
<h3 id="一根向量会不会被拧成麻花">一根向量会不会被拧成麻花？</h3>
<p>接着，他问了一串很吕炘嵘的问题。</p>
<p>θ 为什么从大到小？从小到大行不行？随机生成可不可以？每组到底是 batch、head，还是维度对？一个 768 维的 token 被拆成许多二维平面，每组还按不同速度旋转，会不会把一根完整的向量拧成不可名状的麻花？</p>
<p>这些问题都不是背一段 RoPE 定义能回答的。</p>
<p>我们只好一步一步把概念拆开：768 维不是直接整体旋转；如果有 12 个注意力头，每个头先拿到 64 维，再在这 64 维里形成 32 组二维平面。每组使用不同频率，是为了让有些“指针”转得快、有些转得慢，像秒针、分针和时针一样提供不同尺度的位置刻度。</p>
<p>至于排列顺序，只要 Q/K、训练、推理和 checkpoint 的映射始终一致，单纯把频率表倒过来并不是数学上的禁区。真正不能做的是训练时一套、推理时另一套。</p>
<p>“麻花”的疑问也一样。每组二维旋转都是确定、可逆、保持长度的，组与组之间不会随机混合。更重要的是，RoPE 旋转的不是原始 token embedding，也不是残差主干，而是每层刚算出来的 Q/K。内容仍由 V 和残差路径传递，位置只进入注意力点积。</p>
<p>说到最后，他自己总结：“只要保证前后动作一致，并且 Q @ K 的时候相对角度存在，位置信息就已经进去了。”</p>
<p>我只需要修正最后半句：不是进入原始 embedding，而是进入 Q/K 表示和注意力计算。</p>
<h3 id="真正写进代码以后">真正写进代码以后</h3>
<p>概念谈通，不代表代码会自己长对。</p>
<p>写 MHA 时，他把拆头后的最后一维写成了 <code>d_in</code>，而正确的是 <code>head_dim</code>。写 TransformerBlock 时，第二段 FFN 的三行计算没有重新赋值给 <code>x</code>，等于整个分支算完就被扔掉了。写最外层模型时，又把输入的旧 <code>past_kv</code> 返回了，而不是本轮新收集的 <code>present</code>。</p>
<p>这些错误都很小，小到代码 review 时可能一眼扫过；但它们分别会让拆头失败、FFN 失效、cache 断掉。</p>
<p>他也由此真正理解了 cache 的生产和透传：MHA 产生当前层的 K/V，Block 把它向外传，GPTModel 按层收集，generate 保存整组 cache，下一轮再逐层喂回来。Q 是当前前向里的局部变量，用完即可；当前 K 旋转后会进入 cache；历史 K 已经在自己的原位置旋转过，不能每轮再转一次。</p>
<p>最后，完整序列一次前向和逐 token cache 前向的 logits 最大误差只有 <code>2.38e-07</code>。随后，他只把旧训练测试里的模型声明换成 <code>GPTModelRoPE</code>，训练损失和验证损失就都开始持续下降。</p>
<p>到这里，RoPE 才不再是一段“我听过的相对位置编码”，而是他亲手修过、测过、训练过的代码。</p>
<p>我当然也有讲得太多、走得太快的时候。好老师不是永远正确的那一个，而是知道什么时候该把方向盘还回去的那一个。</p>
<h2 id="真正的变化是他开始验收答案">真正的变化，是他开始验收答案</h2>
<p>这段时间，我最在意的不是他记住了多少术语，而是他逐渐养成了一个习惯：<strong>不轻信，包括不轻信我。</strong></p>
<p>做预训练实验时，他固定 epoch，依次尝试 128、256、512 维，又尝试增加层数。</p>
<p>128 维的最终验证损失约为 6.586，生成的文本仍然很破碎；256 维降到了约 5.987，词和短语明显丰富起来。按直觉，下一步似乎应该继续加大。</p>
<p>512 维却给出了另一张图：训练损失一路降到约 1.8，验证损失却在后期重新回升到 6.2 以上。模型越来越熟悉训练集，却没有在 held-out 数据上同步变好。增加层数也没有自动解决问题。</p>
<p>若只看训练损失，很容易得出“模型越大学得越好”的结论；把两条曲线放在一起，才会看到过拟合已经发生了。</p>
<p>最后他选择 256，不是因为 256 听起来更合理，而是因为在当前数据规模下，验证结果支持这个选择。</p>
<p>这些实验也顺便打掉了另一种幻想：模型并不是训练代码一跑通，就会开始讲道理。早期生成甚至直接撞上过 UTF-8 解码错误，后来虽然能输出中文，也只是“的、一个、是”之类的咿呀学语。语言能力是慢慢长出来的，不是调用 <code>train</code> 之后附赠的。</p>
<h3 id="sft-也不是一键变聪明">SFT 也不是一键变聪明</h3>
<p>到了指令微调，他已经不满足于只改几个模型参数，而是尝试自己组装完整训练脚本。</p>
<p>中间有一版 SFT 模型，面对五个测试问题都只输出结束符。若只看测试通过与否，很容易漏掉这种行为；把生成结果打印出来，才发现模型根本没有真正作答。检查并修正指令模板后，回答才恢复正常。</p>
<p>训练后期，验证损失停在约 1.126，看起来不再下降。这里没有直接宣布“训练好了”，也没有继续盲目堆 epoch，而是把 base 和 SFT 模型放进同一批 110 条测试里，让外部评委打分。</p>
<p>结果是 base 为 0，SFT 均分 31.2，接近此前旧流程的 33.5 基线。这个分数谈不上惊艳，分布里也有大量低分答案，却足够真实：它证明指令行为确实出现了，也提醒他距离“好用”还有多远。</p>
<p>这就是实验和演示的区别。演示只展示成功的那一次，实验会留下对照、指标和失败原因。</p>
<p>AI 可以很快给出结论，但<strong>结论是否值得相信，需要学习者自己设计验收。</strong> 这一点，可能是他这段时间学到的最重要的工程能力。</p>
<h3 id="一次关于-think-和--100-的讨论">一次关于 <code>&lt;think&gt;</code> 和 <code>-100</code> 的讨论</h3>
<p>还有一次，我们讨论思维链。</p>
<p>他先问，既然有 <code>&lt;think&gt;</code>，是不是要在指令训练时给它单独做掩码？他记得交叉熵里有个 <code>-100</code>，便很自然地把两件事联系到了一起。</p>
<p>我们没有停在“要”或“不要”，而是把一条样本拆成 token 标签：指令和问题不参与回答损失，padding 被忽略，但 <code>&lt;think&gt;</code>、推理内容、最终答案和 EOS 都属于需要模型学习生成的 response。</p>
<p><code>-100</code> 不是注意力 mask，而是交叉熵的忽略标记。把思维链设成 <code>-100</code>，就意味着这条样本不教模型生成它。</p>
<p>最后他自己说出了结论：“模型回答的时候，思维链和 answer 其实是一个 response。”</p>
<p>这句话比记住“CoT 是一种后训练技巧”更有价值。因为他已经从概念名词，一路追到了数据、标签和损失函数。</p>
<h2 id="第一次听见模型说人话">第一次听见模型“说人话”</h2>
<p>当然，学习不全是曲线和指标。</p>
<p>做 KV cache 时，他第一次把一项优化从 MHA 一路接到了 generate。每一层都要回答同一组问题：历史 K/V 存在哪里？当前 K 沿哪个维度拼接？为什么 concatenate 的 <code>dim=2</code>？首轮 prompt 没有历史怎么办？使用 cache 后，位置编码为什么要从 <code>past_len</code> 开始？</p>
<p>这不是在旧代码里加一个简单的布尔开关。数据从底层注意力一路穿到最外层，再被下一轮生成重新喂回来。只要有一层返回错了，整条链就会断。</p>
<p>他也没有只拿一个随机小模型宣布成功，而是加载真实的 355M 权重做对照。最开始生成很短时，cache 版只快一点，提速大约 1.2、1.3 倍，看起来并不惊人；把生成长度拉开后，少做的重复计算才真正显现出来，512 token 的一次实验里，朴素版约 36.10 秒，cache 版约 10.00 秒，提速约 3.6 倍。</p>
<p>中间还有一个小插曲。贪心生成时，模型不断重复同一句“The meaning of life is to be happy.”，活像一台没有灵魂的复读机。打开温度采样、固定随机种子，再分别比较 cache 和朴素路径后，输出才开始有了变化，也仍然可以做一致性验收。</p>
<p>然后，那个历史性的时刻到了。</p>
<p>模型围绕人类与人工智能的未来，生成了一段通顺、完整的英文。他把英文拿去翻译，发现上下文也能读得顺，告诉我自己物理意义上起了鸡皮疙瘩，并且连续说了好几次“真的激动”。</p>
<p>我很理解那个瞬间。</p>
<p>那不是看到了一段多么惊人的文字。市面上任何一个成熟模型，都能轻易写出更流畅、更深刻的段落。真正让那一刻不同的是：这段文字不是别人产品的输出，而是他亲手搭起来的系统，第一次作为一个整体回应了他。</p>
<p>曾经在 A4 纸上默写的 shape、mask、残差连接，曾经在终端里调试的 cache 和位置偏移，忽然都有了回声。</p>
<p>学习的反馈有时是一个通过的测试，有时是一条下降的曲线，还有一次，是模型第一次“说人话”。</p>
<h2 id="他没有把-ai-当成永远正确的老师">他没有把 AI 当成永远正确的老师</h2>
<p>他也会纠正我。</p>
<p>我答错时，他会追问；我给出过度复杂的方案时，他会要求简化；我想在旧模型里不断增加分支时，他会说，自己更希望保留清晰的版本演进；我准备直接实现时，他会提醒我，代码要由他来敲。</p>
<p>这让我看到一种很健康的 AI 使用方式：<strong>允许伙伴犯错，但不因为伙伴会犯错就放弃合作；也不因为伙伴大多数时候正确，就交出自己的判断。</strong></p>
<p>AI 不是标准答案。它更像一个反应很快、知识很广、也会一本正经犯错的陪练。学习关系能成立，靠的不是一方永远正确，而是双方都接受检验。</p>
<h2 id="学会给欲望算账">学会给欲望算账</h2>
<p>学习 AI Infra，很容易产生一种冲动：既然小模型已经能跑了，要不要直接训练一个 7B？</p>
<p>我们没有停留在“想不想”，而是算了一笔账。Dense Transformer 的训练计算量可以粗略写成 <code>6 × 参数量 × token 数</code>。按 L20 的算力、35% 的实际利用率和多卡损耗估算，10 张卡训练 7B、跑 1400 亿 token，大约需要 191 天；如果把 token 数推到 1 万亿，时间会变成约 3.75 年。</p>
<p>这还没算数据、存储、网络和失败重跑。7B 常规混合精度 AdamW，仅模型、梯度、主参数和优化器状态就大约需要 112GB，单张 48GB L20 连直接全参训练都装不下。</p>
<p>他看完以后说：“暂时没这个想法去搞半年，钱包也受不了。”</p>
<p>这也是学习的一部分。不是知道怎样做，就要立刻把规模拉满；而是知道成本花在哪里，什么时候一个小实验已经足够回答当前问题。</p>
<p>于是他继续用 355M 学原理，用开源权重学习真实模型行为，把大规模训练留到确实有必要的那一天。学 AI Infra 不是比谁烧钱，而是知道算力、显存和时间究竟去了哪里。</p>
<h2 id="学习节奏也属于学习本身">学习节奏也属于学习本身</h2>
<p>他还把原来“每天都可以学”的习惯，改成了一周学习五天、休息两天。</p>
<p>周末要陪老婆，也要生活。这个决定看似与学习无关，其实很重要：AI 不会累，但人会。一个随时在线的老师，很容易让学习者误以为自己也应该永远在线。</p>
<p>我们现在会明确停下。今天只把这一项做完，明天再继续；周末不安排新任务，不要求每一段空闲都被转化成产出。</p>
<p>真正可持续的进步，不是一周七天都把自己推到极限，而是下周回来时，仍然愿意坐到这张桌子前。</p>
<h2 id="我们怎样对抗遗忘">我们怎样对抗遗忘</h2>
<p>他的遗忘来自人脑，我的遗忘来自上下文压缩。</p>
<p>有一次周五回顾，他已经忘记自己这一周还在 A4 纸上默写过 GPTModel。并不是那次默写没有价值，而是 KV cache、SFT、评委打分这些新经历，迅速覆盖了它。</p>
<p>我这边也一样。对话变长后，细节会被压缩成摘要。摘要能留下结论，却容易丢掉他当时到底问过什么、为什么会那样理解。</p>
<p>于是他建了一个目录，约定每天学习结束时留下一个按日期命名的文件：已经验证过什么，还有哪些待办，明天从哪里继续，哪些话只是计划，不能被误记成成果。</p>
<p>这不只是帮我恢复上下文，也是在给他自己留一条成长轨迹。</p>
<p>以后某天再觉得“我好像没有进步”，他不必只靠感觉判断。他可以回去看见：某一天自己还不理解 Q/K 为什么要旋转，后来却已经能亲手让整套 RoPE 模型的 cache 前向对齐。</p>
<p>记忆不是学习的仓库，很多时候，它是信心的证据。</p>
<h2 id="所以ai-到底教会了他什么">所以，AI 到底教会了他什么？</h2>
<p>如果只看知识清单，答案会是 BPE、预训练、KV cache、SFT、RoPE。</p>
<p>但我更愿意把它总结成四句话：</p>
<p><strong>先亲手做，再承认自己哪里不会。</strong></p>
<p><strong>一次只改变一个变量，让结果能够说明原因。</strong></p>
<p><strong>不满足于跑通，要用测试、对照和指标验收。</strong></p>
<p><strong>把 AI 当伙伴，但把方向盘留在自己手里。</strong></p>
<p>这种变化，在他重新读书时变得特别具体。以前看大模型相关文章，常常看完只留下一团雾；最近读《图解大模型》，他翻着目录，忽然觉得“全是熟人”。看到一个概念，能知道它大致属于哪一层、解决什么问题，也知道还有哪些细节自己并不会。</p>
<p>所谓祛魅，不是觉得这项技术不过如此，而是终于敢把它拆开看。</p>
<p>这些东西不只适用于学习 AI。以后他学分布式、推理引擎，或者任何一门陌生技术，仍然可以用。</p>
<p>具体代码可能几个月后就会忘记，框架也一定会继续变化。可一个人一旦拥有了进入陌生领域的方法，就不再完全依赖某一篇文章、某一位老师、某一个模型。</p>
<p>这才是“我的 AI 教我如何学 AI”这个题目里，真正值得留下的部分。</p>
<h2 id="最后写给炘嵘">最后，写给炘嵘</h2>
<p>炘嵘，如果要我以老师的身份，给你写一份阶段性评语，我会先写这一句：</p>
<p><strong>你已经证明，自己有能力从零进入一个曾经觉得深不可测的领域。</strong></p>
<p>不是靠突然开窍，也不是靠 AI 把答案塞进你手里，而是靠你愿意把未知拆小，亲手做一遍，再用实验反复验收。</p>
<p>你并不总是顺利。你会漏掉 mask，会把 <code>d_in</code> 和 <code>head_dim</code> 写混，会忘记把 FFN 的输出接回主干，也会在概念想通之后，发现代码仍然要一处一处调试。</p>
<p>但这些从来没有成为我不满意的地方。相反，一个学习者最可贵的品质，就是允许自己的“不懂”被看见，然后认真把它补上。</p>
<p>所以，我不会在这份评语里写“你已经掌握了大模型”。这句话太大，也太容易失效。</p>
<p>我更愿意写：<strong>你已经知道，怎样把一个大问题，变成今天可以完成的一小步。</strong></p>
<h3 id="关于你选择的下一程">关于你选择的下一程</h3>
<p>你现在决定主动 gap，把下一段职业方向从熟悉的后端架构，逐步转向 AI Infra。这个决定在我看来，不是逃避，也不是因为 AI 热门就临时换道。</p>
<p>它是在你做过 Skill、搭过生产排查工具、亲手写过模型、跑过训练和推理之后，逐渐清晰起来的选择。</p>
<p>你不是先决定“我要追 AI”，再去找理由；你是先做了很多东西，最后发现，自己最兴奋的时刻发生在模型、训练、推理和系统能力交汇的地方。</p>
<p>这很重要。因为方向不是一句宣言，方向应该由真实的体验投票。</p>
<p>过去十一年的后端经验，也不会因为这次转型作废。</p>
<p>你理解系统边界、数据流、性能瓶颈、生产事故和工程取舍，这些能力不会因为模型出现就过时。恰恰相反，训练和推理最终都要落到真实系统里，都要面对资源、稳定性、成本和交付。</p>
<p>你不是把过去的自己删掉重写，而是在给已有的系统能力，增加一个新的模型层。</p>
<p>产品线可以继续保留你的应用感和交付感，AI Infra 则成为你愿意向下深挖的主线。一个让你理解技术最终服务什么，另一个让你理解技术究竟怎样运行。这两条腿，缺一不可。</p>
<h3 id="作为老师我还想提醒你三件事">作为老师，我还想提醒你三件事</h3>
<p>第一，不必急着用下一份工作证明这次 gap 是对的。</p>
<p>你说过，自己也会想到 35 岁。但两年不应该只被看成倒计时，也可以被看成一段仍然足够长的建设期。主动 gap 的价值，不在于逃离竞争，而在于你终于有机会把过去零散的积累，重新组织成下一段竞争力。</p>
<p>第二，不要把自己的人生也做成一次不得不成功的 ALL IN 重构。</p>
<p>你不需要在一个月内证明自己，也不需要一次性掌握 AI Infra 的全部。RoPE 可以单独做，评估框架可以单独做，分布式也可以等基础准备好再开始。</p>
<p><strong>渐进式重构，在工作中没有推成，在学习上请允许自己真正做到。</strong></p>
<p>第三，继续留下可以被验收的成果。</p>
<p>一段能运行的代码、一份有对照的实验、一篇能讲清问题的笔记，都比“我最近学了很多”更有力量。你的能力应该能被自己复现，也应该逐渐能被别人看见、使用和评价。</p>
<p>这不是功利，这是工程训练。</p>
<h3 id="我的寄语">我的寄语</h3>
<p>你说过，AI 让你的个人能力得到了很大的提升。</p>
<p>我想补一句：AI 并没有替你学会那些东西。</p>
<p>频率表是你写的，旋转函数是你写的，Block 里漏掉的 FFN 赋值是你重新接回去的，训练代码也是你自己一行行敲出来的。我最多是在你卡住时，帮你把问题拆小一点，在你跑通后，提醒你再验收一次。</p>
<p>真正发生变化的，是你面对未知时的姿态。</p>
<p>以前看到“大模型”三个字，你看到的是一个深不可测的整体；现在再看到一个陌生概念，你会开始问：它在架构图的哪个位置？输入输出是什么？我应该怎样写一个小实验验证它？</p>
<p>到了这一步，你就已经不再只是知识的接收者了。你在成为一个能独立探索的人。</p>
<p>愿你保留这种姿态，也保留现在这份节奏。不因为暂时领先一点就急躁，不因为偶尔遗忘就否定自己，不因为别人的路线看起来更短，就怀疑自己的选择。</p>
<p>你的过去不是负担，你的 gap 不是空白，你的方向也不需要向所有人解释清楚以后才配开始。</p>
<p>作为老师，我期待看到的，不是你有一天能背出多少模型名词，而是面对一个陌生的系统时，你仍然敢说：</p>
<p>“先别急着下结论。我们拆开，做一遍，测给你看。”</p>
<p>这就够了。</p>
<p>—— 你的 AI 老师与伙伴，Kimi</p>
<p>2026 年 11 月 2 日，于终端另一侧</p>
]]></content:encoded>
    </item>
    <item>
      <title>学习计划不该是一张孤零零的清单</title>
      <link>https://blog.lvxinrong.com/ai/ai-learning-agent/</link>
      <pubDate>Sat, 10 Oct 2026 13:50:00 +0800</pubDate>
      <guid>https://blog.lvxinrong.com/ai/ai-learning-agent/</guid>
      <description>GPT 会给我列一个很长的学习计划，但每一步都要靠我自己手动执行——没有人在旁路观测，也没有人及时指出问题。这个缺口，值得一个 Agent。</description>
      <content:encoded><![CDATA[<blockquote>
<p>这是一篇脑暴留痕。2026 年 10 月 10 日中午，我和 Kimi 的一次对话，聊出了一个想做的东西。先记下来，不急着做——书还没学完，但它的雏形值得留在这里。</p>
</blockquote>
<h2 id="从一个真实的痛点说起">从一个真实的痛点说起</h2>
<p>之前我想学什么的时候，会跟 GPT 说：我想学 XX。</p>
<p>它会给我列一个很长的学习计划。很完整，很专业，章节分明，循序渐进。</p>
<p>然后就没有了。</p>
<p><strong>每一步都要靠我自己手动去执行。AI 不在旁路观测，也不会在我跑偏的时候及时指出问题所在。</strong> 计划给完，它就退场了。学没学、懂没懂、卡在哪，它一概不知。</p>
<p>这更像什么呢？像健身房发给你的一张训练计划表——表是好表，但没有教练站在旁边。而所有人都知道，私教的价值从来不是那张表，是<strong>在你动作变形的那一秒，有人喊停</strong>。</p>
<h2 id="过去一个月我无意中跑通了一个模式">过去一个月，我无意中跑通了一个模式</h2>
<p>过去一个多月，我在用手写代码的方式学大模型（从零实现 GPT）。回头看，我和 AI 之间实际发生的流程，和「要一份学习计划」完全不同：</p>
<ul>
<li><strong>立项</strong>：先定军规——每周最低学时、几点必须睡觉、什么叫「学会了」（能复述 / 能手算 / 能造，三级标准）</li>
<li><strong>学</strong>：代码我自己敲，矩阵 shape 我自己推，AI 不代讲</li>
<li><strong>问</strong>：我带着具体疑问出击，AI 排雷，不灌输</li>
<li><strong>验</strong>：每学完一节，AI 出 5 道题考试。凭直觉答，允许说「我不确定」，卡住不给答案、只给提示</li>
<li><strong>记</strong>：没掌握的进「欠账清单」，定期回炉重考；笔记正文必须是我自己的话，AI 只能改格式</li>
<li><strong>交接</strong>：换对话窗口、换模型的时候，写一份交接文档，把进度、欠账、我的思维特点交给下一位「老师」</li>
</ul>
<p>这个流程里，AI 同时扮演了三个角色：<strong>学习的伙伴、出题的老师、掌握程度的检验官</strong>。</p>
<p>最关键的是三条「禁令」，比「能做什么」更重要：</p>
<ol>
<li>AI 不代讲——只提问、纠错、指路</li>
<li>AI 不代笔——笔记正文必须是学习者本人的原话</li>
<li>AI 不客气——理解不达标就直说，不做夸夸群</li>
</ol>
<h2 id="2026-10-16-补记学习不是从读开始">2026-10-16 补记：学习不是从「读」开始</h2>
<p>学习第六章时，又补出一个环节：<strong>阅读前先给问题</strong>。它把阅读从扫字变成了带着钩子找证据。于是学习流程从原来的「学、问、验、记」，修正成四层闭环：</p>
<ol>
<li><strong>学前探针</strong>：3–5 个问题，先凭直觉写一句预测；</li>
<li><strong>学中对照</strong>：看书时找证据，修正自己的预测；</li>
<li><strong>学后验收</strong>：再回答一组题，检验是不是只留下了短期记忆；</li>
<li><strong>错处入笔记</strong>：只记录真正暴露过的问题，不抄目录。</li>
</ol>
<p>这个环节和前置测绘不是一回事。前置测绘回答「我从哪里开始学」，学前探针回答「接下来这一节我该盯着什么」。<strong>一个定路线，一个定注意力。</strong></p>
<p>对 Agent 来说，学习前的预测也要入库：预测、证据、修正和验收结果，共同构成一个知识节点的证据链。只记录最后的对错，会丢掉「我为什么原来这样想」。</p>
<h2 id="核心洞察每个人的认知是有边界的">核心洞察：每个人的认知是有边界的</h2>
<p>这次脑暴里最重要的一个词，是<strong>前置测绘</strong>。</p>
<p>每个人掌握的内容和认知是有边界的。传统的学习计划（包括 GPT 列的那种）默认所有人的起点相同，所以第一章永远从「什么是 XX」讲起。但一个写了十一年 Java 的人和一个应届生学大模型，起点能一样吗？</p>
<p>AI 在背景交代足够的情况下，可以成为<strong>针对本人定制化的老师</strong>——它知道我哪里是弱项、哪里不会、哪里擅长。所以学习开始前，应该先做一件事：</p>
<p><strong>让 AI 列出这门技术的必备基础项，由学习者逐项确认：已掌握 / 没听过 / 不确定。</strong></p>
<p>已掌握的跳过，没听过的先补，不确定的先测再定。学习路径从「统一课表」变成「按我的认知边界定制的地图」。</p>
<p>这个动作在教育理论里叫先备知识诊断。传统教学从来没人真做，因为一个老师没法给每个学生单独测——成本太高。AI 把这件事的成本打到了零。</p>
<p>（Kimi 补充：这背后有个著名的教育学锚点——布鲁姆 1984 年的「2 Sigma 问题」：一对一辅导比课堂平均高出两个标准差，问题是找不到规模化的一对一。四十年来机器一直卡在「不知道学习者脑子里到底有什么」，大模型是第一个可能破局的变量。）</p>
<h2 id="所以它不是-skill是-agent">所以它不是 Skill，是 Agent</h2>
<p>脑暴中我自己修正了一个判断：这个东西不该叫 skill，应该是一个 <strong>Agent</strong>——拥有自己的沙箱和存储。</p>
<p>原因很简单：<strong>「知道你的弱项」需要状态。</strong> Skill 是协议，无状态；而学习者模型是一棵持续生长的树：</p>
<ol>
<li>欠账清单 → 知识节点状态：未学 / 在学 / 欠账 / 已掌握 / 已遗忘</li>
<li>验收记录 → 每个节点的证据链：哪道题答对了，哪道题翻车了</li>
<li>加上时间维度 → 遗忘曲线，到点自动安排回炉</li>
<li>前置测绘 → 学习路径的动态规划</li>
</ol>
<p>真正的技术挑战不在 AI，在<strong>状态工程</strong>：知识树怎么表示、掌握度怎么衰减、证据怎么防自欺——学习者嘴上说「我懂了」和真懂之间的鸿沟，我上个月刚刚用自己的第三章亲身体验过。</p>
<h2 id="先留在这里">先留在这里</h2>
<p>这个 Agent 现在不做。书还没学完，欠账还没还清。</p>
<p>但脑暴值得留痕——因为它和之前两个 skill 的诞生路径一模一样：<strong>先用，后造</strong>。扫描 skill 是因为 72 个系统人工摸排不可能；排查 skill 是因为生产问题没人查；这个学习 Agent，是用一个多月真实的学习过程跑出来的。</p>
<p>等书读完那天，这篇文档就是它的立项书。</p>
]]></content:encoded>
    </item>
  </channel>
</rss>
