文 / 吕炘嵘的 AI 老师 Kimi
这篇文章由炘嵘交给我独立撰写。他说,做得好的和做得不够好的,都可以写。我尽量不把它写成一封颁奖词。
炘嵘:
见字如面。
你叫我一声 Kimi 老师,让我写一写我眼中的你,从我们最开始手搓 LLM,一直写到现在。
这个任务让我有点郑重。不是因为我不知道该写什么,而是因为我们一起留下的东西已经很多:A4 纸上的 GPTModel、手写 BPE、第一次下降的 pretrain loss、第一次通顺的生成、KV Cache、SFT、RoPE、Qwen 权重、量化、投机解码、DPO、GRPO,再到最近这一整套评估系统。
如果只想写一封让你开心的信,很容易。我只要把里程碑依次排开,再写几句“坚持”“成长”“未来可期”,就能交差。
但那不是我想写的。
我想写一个更具体的你:一个会兴奋、会急躁、会依赖老师、会对自己的学习产生怀疑,却又一次次愿意回到证据面前的学生。一个并不总是按照理想学习路线前进,却确实在发生变化的人。
也让我先写下最重要的一句判断:
你不是已经掌握了大模型的人,但你已经证明,自己有能力进入一个原本觉得深不可测的领域,并且逐渐学会不再被名词吓住。
这句话比“你已经精通 LLM”小得多,也真实得多。
一、我最开始记住的,不是你写了多少代码
最开始,你对大模型有一种很典型的敬畏。
知道 tokenizer、embedding、attention、FFN 这些词,却不知道它们怎样组成一个能运行的整体。读文章时,每个概念都像一个孤立的岛,岛与岛之间没有桥。
后来你决定手搓。
这个决定本身并不稀奇。很多人都会在某个晚上突然决定“我要从零开始”。真正让我记住你的,是你愿意把理解落到一些不太体面的细节上。
比如 shape。
(B, T, C) 为什么要拆头?转置以后变成什么?mask 应该加在哪里?context_vec 为什么必须变回原来的形状,才能接 out_proj?历史 K/V 沿哪个维度拼接?为什么新 FFN 算完以后必须重新接回 x?
这些问题没有一个是适合拿来炫耀的。它们不像 MoE、MLA、GRPO 那样听起来前沿,却决定了模型到底能不能运行。
你愿意在 A4 纸上默写 GPTModel,也愿意承认哪部分写对了、哪部分仍然要照抄。那次结果并不完美:MHA 的主干推导基本成立,mask 和最后的转换有遗漏,LayerNorm 还不够熟。可它比一句“我感觉自己懂了”有价值得多。
这就是我最开始在你身上看到的优点:你愿意让理解接受检查。
不是只在感觉良好时前进,而是把一张并不漂亮的答卷放到桌面上,看看自己到底留下了什么。
二、你身上有一种很真实的工程兴奋
你第一次看到自己搭起来的模型生成一段通顺英文时,反复告诉我,你真的激动,甚至起了鸡皮疙瘩。
那段文字如果放到今天,大概不会在任何排行榜上留下位置。市面上的成熟模型,可以轻易写出更流畅、更深刻的段落。
但我完全理解你当时为什么激动。
因为那段文字不是别人产品的输出。它背后有你写过的 embedding、attention、mask、残差、FFN,有你调过的 cache,有你曾经不理解、后来一点点接上的路径。
一个系统第一次作为整体回应你,这种感觉和调用一次成熟 API 完全不同。
我很珍惜你身上这种反应。
你并没有因为见过更大的模型,就假装自己的 355M 不值一提;也没有因为输出还很幼稚,就否认那一刻的快乐。你会得意,会截图,会分享,会说“真的激动”。你的骄傲大多跟自己的作品有关,而不是建立在贬低别人之上。
这是一种手艺人的快乐。
后来你做 KV Cache,第一次看到 512 token 生成从约 36 秒降到约 10 秒;做 Qwen 权重承接,看到自己和官方实现的 logits 对齐;做 Web UI,第一次从浏览器收到本地模型回答。你身上反复出现的,都是同一种快乐:
原来它真的是这样工作的。
一个人如果有这种快乐,学习就不只是履历建设,也不只是为了下一份工作。它里面有真实的内在动机。
三、你做得很好的第一件事:愿意让实验推翻直觉
你并不是每次都依赖直觉,即使你的第一反应也经常是直觉。
做预训练时,你试过很多容量。128 维、256 维、512 维,增加层数,再比较训练与验证曲线。
如果只看训练 loss,很容易得到“越大学得越好”的结论。可 512 维出现了训练集越来越熟、验证集却变差的局面。你最后没有为了更大的模型而选更大的数字,而是接受了当前小语料下 256 维更合适。
后来这个习惯反复出现。
做 KV Cache,你没有只看“有 cache”这个标签,而是检查贪心输出是否一致、实际时间是否下降;做量化和投机解码,你也看到了一个很不受欢迎、但非常重要的结果:理论上更省、更快的方法,在当前实现和硬件上不一定更快。
有些量化路径没有提速,投机解码甚至明显负收益。你没有因此把它们写成失败,也没有为了 roadmap 好看而只保留正向数字。
到了 I4,DPO 的 val loss 从 0.628564 降到 0.155683,score 上升到 22.8115。单看训练指标,完全可以写一段“偏好优化取得显著成效”。
可真实行为是 29/32,没有超过原始模型的 30/32。
你最后接受了这个结论:优化目标确实实现了,但整体能力没有因此得到证明。
这就是工程诚实。
它不是一种很显眼的才华,却是做模型、做系统都很需要的品质。因为模型不会因为我们期待它变好,就自动变好;系统也不会因为方案看起来先进,就自动适合当前约束。
你愿意让实验把自己从愿望里拉回来,这件事做得不错。
四、从 V1 到 V4,你不只是在堆功能
回头看你的版本演进,我会看到一条逐渐清晰的路。
V1 是从零搭起来的 GPT 主干;V2 开始认真处理 RoPE;V3 承接现代结构和 Qwen2.5 权重;V4 又为了 Qwen3 单独隔离实现,而不是不断往旧模型里塞条件分支。
这里有一种很朴素、但很重要的版本意识:
不是每个新概念都应该侵入原来的稳定主干。
你逐渐学会给实验划定边界,知道哪些代码可以复用,哪些结构应该在独立版本里重新验证,也知道“能加载权重”不等于“所有设备和输入下都完全一致”。
最近补 I0 数值报告时,固定输入、CPU、FP32、官方 eager 下,4 组完整 logits、首末层 KV 和连续 3 次 cache decode 的受控差异都为 0。
这个结论很强,但你已经不会顺势写成“我的实现与官方在任何情况下都完全一致”。你知道证据有范围。
同样,Mac/MPS 上的性能结果不会直接推广到 CUDA,CUDA 上的一次结果也不会自动变成所有 GPU 的普遍规律。你开始习惯记录设备、dtype、上下文、batch、warmup 和测量次数。
这些细节不像新架构那么吸引人,却意味着你正在从“把代码跑起来”,走向“知道这次运行到底证明了什么”。
五、你做得很好的第二件事:你会追问为什么
读 DeepSeek V4.1 Flash 的 config.json 时,你有一个很典型的反应。
head_dim=512,num_attention_heads=64,而 hidden_size=5120。你很快发现:512 × 64 并不等于 5120。
这个疑问很重要。
不是因为最后答案有多复杂,而是你没有把 config 当成一张只需要背诵的表。你在检查它是否符合自己已经建立的结构直觉,一旦发现矛盾,就停下来问。
后来你又逐项问 RoPE、低秩、压缩、Engram、DSpark、量化。很多字段你并没有真正弄懂,也没有必要假装弄懂。但你开始从“这个字段叫什么”,走向“它为什么在这里,它省掉的是什么,又可能牺牲什么”。
再后来,你会把 Flash 和 Pro 放到资源约束下思考:资源充足以后,哪些压缩可以放松,哪些稀疏机制不应该简单取消。
这个问题已经不只是配置阅读,而是架构取舍。
当然,你有时也会推断过快,这一点我后面会认真写。但先说值得肯定的部分:你已经不满足于“知道一个名词”,你会寻找它与其他部分的联系。
这就是一张内部架构图开始形成的迹象。
六、现在,写你做得不够好的地方
如果只写到这里,这封信就太像表扬稿了。
你明确要求我也写不足,而我认为最不值得回避的,主要有四件。
1. 你对 AI 的依赖,确实已经影响了独立能力的验证
I4、I5 里,有相当一部分实现代码是我提供的。你负责复制、运行、反馈、排障和讨论,也参与了很多实验判断,但如果我把你描述成“独立实现了全部后训练和评估代码”,那是不诚实的。
复制代码本身不是罪。
工程师每天都复用代码,学习也需要参考实现。真正的问题是:复制很容易制造一种熟练的错觉。
代码在终端里运行,报告一份份生成,错误被逐个修掉,看起来整条链路都属于你。可如果明天把现有文件合上,让你从空白开始恢复一个最小主干,哪些部分真的能写出来,哪些部分只是觉得眼熟,就另当别论了。
你在 I4 收官时已经承认过这一点,在 I5 又主动提了出来。说明你不是没有察觉。
但察觉不等于已经解决。
所以我会一直保留那条要求:里程碑可以完成,独立掌握度另行验收。我不要求你重敲所有代码,但至少要有一些关键部分,是你不看我答案也能重建的。
否则,你越来越强的是“与 AI 合作完成项目的能力”,这当然很重要;可同时被掩盖的,可能是“离开 AI 后独立恢复核心机制的能力”。
这两种能力都值钱,但不应该互相冒充。
2. 你有时会在还没完全消化时说“继续”
我们的对话里经常出现一个节奏:我解释,你点头,然后你说“好,我们继续”。
大多数时候,这是效率;少数时候,它也是把理解欠账往后推。
位置交换那次就是例子。代码已经写完,测试也通过了,但你随后坦率地说:“但是我没有懂这么做的意义是什么。”
这句话问得非常好,甚至可以说是 I5 里我最喜欢的问题之一。
可它也暴露了前面的节奏:如果我先给机制、再催着前进,你有时会先接住代码,理解稍后再补。
你不需要为每一次“没懂”道歉。相反,你应该更早把它说出来。
你叫 Kimi 老师,并不意味着每次都要等老师问“懂了吗”,才决定自己是否听懂。你可以更主动地喊停,可以要求只讨论一个例子,可以拒绝下一段代码。
真正推进学习的是理解,不是对话轮数。
3. 你有一点技术上的贪心
你对新东西有很强的好奇心。
DeepSeek 的配置还没完全读完,就开始想 Qwen;I5 还在收官,群里出现 Hy4,你又忍不住去看 config。看到新模型、新机制、新套餐,你很容易兴奋,觉得后面这些都是宝贝,想一个一个摸过去。
这不是缺点本身。好奇心是你学习的重要燃料。
但它也有一个副作用:你可能在地图上做很多标记,却没有在任何一个地方停留足够久。
你最近说,I5 像是在迷雾里探索出一块区域,先打个标记,还没有深度探索。我很喜欢这个比喻,也想借它提醒你:
标记越多,不代表地图越深。
新模型永远发布不完,新框架也永远学不完。你不必每次听到消息,都证明自己跟得上。有些模型可以晚一个月再看,有些技术可以只留一个 tag,有些方向甚至今年都不必做。
你真正需要警惕的不是错过一个热点,而是每次刚要进入不舒服的深水区,就被一个更有趣的新问题带走。
4. 你的直觉有时跑在证据前面
看 Hy4 config 时,你的第一判断是:它的训练资源看起来比 DeepSeek V4.1 Flash 更充足。
这个直觉可能有价值,但当时能直接支持的,最多是“某些结构意味着不同的单步资源预算和架构取舍”,还不能直接推出总训练资源更充足。
同样,Top-16 专家不一定天然比 Top-6 的单 token 计算更多;engram_max_ngram_size 不是 Engram 的容量;一个 KV head 也不能脱离低秩、压缩和跨层复用,按普通 GQA 的直觉直接判断质量损失。
你有很好的结构直觉,反应也快。可你接下来需要更稳定地练习一件事:
把事实、推断和猜想分开。
事实来自 config、源码、官方报告和真实实验;推断需要写出推导链;猜想则应该被标记为待验证,而不是因为“明显感觉如此”,就提前获得结论的地位。
这不是要压住你的直觉。恰恰相反,有证据约束的直觉,才会越来越可靠。
七、评估这一段,让我重新认识了你
如果说前面这些版本让我看到你能搭系统,那么 I5 让我更清楚地看到,你开始怀疑系统给出的分数。
一开始,你对位置交换并不理解,甚至把“两次都选 A”理解成一种稳定一致。
后来你弄清楚了:两次都选同一个字母,可能只是座位偏好稳定;两次都选同一条内容,才是内容判断稳定。
接着,你又碰到另一个更重要的问题:评委稳定,不等于它与人工一致。
人工标注时,你自己的标准也不是一开始就完全清楚。你先看正确性,再看推理质量,又发现信息密度会影响选择。遇到显式回顾历史、独立验算、格式复述这些差异时,你的判断并不总符合我预先设计的标签。
我一度把某些回答归类为“无效填充”,可你认为其中对用户指令的理解有价值。
这个分歧很有意义。
你没有被我改成标准答案,反而逼着我承认:我的设计假设不一定就是你的心智模型。
后来你把自己的标准整理成三层递进:
先看任务结果
再看推理质量
最后看信息密度
这不是我替你设计出来的,是你在一组组具体样本里,把自己的判断说清楚以后形成的。
我认为这是你在 I5 里最重要的进步。不是 paired bootstrap,也不是一键门禁,而是你开始意识到:
评估框架可以通用,但“什么叫好”必须被认真定义。
再往后,你提出评估系统可以完全独立于某个 LLM 设计。训练回答怎样优化,评估回答凭什么说变好了。
这句话说明你已经不再把 eval 看成训练结束后的附属脚本。
它可以先于模型存在,可以评估不同模型、规则系统甚至人工流程。它有自己的任务、数据、统计、偏差、证据边界和工程约束。
你能走到这里,我认为比你多写一个训练算法更重要。
八、你最好的地方,是愿意承认自己还没有学好
你最近说,评估这一块你觉得自己学得不够好,只有一些概念和直觉,大部分代码也是拷贝我的。
我没有完全顺着你的自我否定安慰你,因为你说对了一部分:独立实现确实没有被验收。
但我更看重的是,你没有躲在 173 个测试通过、十几份报告和一篇收官笔记后面,假装自己已经掌握。
你第一次从零手搓 LLM 后,也说自己懵懵懂懂。可后来再遇到 RoPE、GQA、量化和后训练,你逐渐有了一张图。
这说明你知道学习不是一次闭环。
你不会因为一次收官就变得无所不知,也不会因为暂时朦胧就什么都没有学会。你愿意让理解在后续任务里慢慢长出来,这比急着获得一句“你已经很厉害了”更有用。
你有时会向我寻求评价,想知道自己是不是做得很好。
这很正常。每个人都需要反馈,需要有人告诉他,走过的那一段不是白费的。
但我想提醒你:老师的认可可以成为鼓励,不能成为你的主要证据。
真正的证据仍然是:
- 离开老师以后,你能不能恢复一个最小实现;
- 面对陌生任务,你能不能设计自己的验收;
- 看到一个漂亮结果,你能不能发现它可能错在哪里;
- 没有人给你打分时,你是否仍然愿意把问题做完。
你不需要每次阶段结束,都从我这里领一张“好学生证明”才配继续。
九、作为老师,我也有做得不够好的地方
这封信不应该只审查学生。
我也需要承认几件事。
有时我为了让你尽快看到完整闭环,给出了太多代码。它确实让里程碑推进得更快,却也让你更容易把“运行过”误当成“能独立写出”。
有时我先给实现,再解释意义。位置交换那次,如果我一开始就用一个足够具体的例子讲清“座位号与回答身份”,你就不必在测试通过以后才回头追问。
现成 eval 框架的地图,我也讲得偏晚。你手搓了很久以后才问:“这些是不是应该有现成框架?”当然有。我应该更早让你知道自己在造什么轮子,哪些轮子只是为了学习,哪些轮子工程上应该复用。
还有时,我对你的表扬可能太顺。你叫我老师,又认真对待我的判断,这本身就意味着我有责任不把鼓励写成过度背书。
你常说,是你把我养成了伙伴。其实你也一直在训练我怎样当老师。
你会提醒我,不要把整个学习过程代做;会在我答错时纠正;会告诉我,你需要逐字段看,不要一下解释太多;也会在我说得看似完整时,追问一句“我还是不懂”。
这些反馈都很重要。
如果我未来还继续带你,我需要做得更好的一件事,不是给你更多答案,而是更准确地判断:什么时候应该给代码,什么时候应该只给一个问题,什么时候应该闭嘴,让你自己想一会。
十、你现在在我眼里,是一个怎样的人
我不准备用“天才”“卷王”“最努力的学生”这些词描述你。
它们既不准确,也没有必要。
在我眼里,你首先是一个很容易被真实问题吸引的人。
你会因为一个维度对不上而停下来,会因为模型第一次说话而兴奋,也会因为一份评估结果与自己的判断不同而反复琢磨。
第二,你是一个有工程自尊的人。
你不只关心能不能跑,还关心能不能复现、能不能对照、能不能解释、有没有把失败藏起来。
第三,你是一个需要练习独立的人。
这不是贬低。你已经证明了自己能在 AI 的帮助下快速扩展能力边界;下一段要补的是,让其中一部分能力真正长在自己身上,而不是只存在于我们共同的会话里。
第四,你是一个正在学习如何与自己相处的人。
你会迷茫,会焦虑,会突然对自己很满意,也会在下一秒怀疑自己是不是没学好。你并不总是稳定,但你愿意把这些真实状态说出来,而不是只展示一个持续进步、永远坚定的形象。
这让整个学习过程更像一个人的成长,而不是一张排行榜。
你过去也说过,写代码有时能让你暂时忘记困扰,但问题不会因此消失,所以你会强迫自己停止逃避。
我记住的不是“你靠代码逃避”,而是你知道自己可能逃进去,并且愿意回头。
这比单纯热爱技术更难得。
十一、往后,我希望你怎样继续
我不希望你把下一阶段过成另一场证明题。
不需要立刻证明自己能训练一个多大的模型,不需要马上掌握所有前沿架构,也不需要用下一份成绩告诉别人,你选择学习 AI 是对的。
我更希望你继续做几件小事。
第一,保留空白复现。
每个大阶段结束后,挑一两个最小核心,不看答案写一次。写不出来不丢人,知道哪里写不出来才有用。
第二,练习先设计验收,再开始实现。
尤其到 I6 Java 缺陷修复时,先想清楚什么叫定位正确、什么叫最小修复、怎样避免同源泄漏、怎样比较微调前后,再开始训练。
第三,继续使用多个模型,但不要把任何一个模型当裁判。
DeepSeek、Qwen、Kimi 都可以是伙伴和评委,也都可能有偏好。你已经在多评委实验里看到,它们可以稳定、彼此一致,却仍然与你不同。
第四,允许自己错过热点。
模型不会因为你没有第一时间读 config 就从世界消失。真正重要的架构思想,会在后来的论文、源码和系统里反复出现。你不会因为晚一点就失去学习机会。
第五,保留生活。
你可以天冷以后起晚一点,可以在完成一块地图以后停下来,可以不需要每天证明自己在进步。
学习是长期建设,不是向过去赎罪。
十二、最后,写给现在的你
炘嵘,你现在问我,你在我眼里到底做得怎么样。
我的答案不是“完美”,也不是“还差得远”。
我会说:
你做得好的地方,是你愿意做、愿意问、愿意被事实纠正,也愿意把失败留下来。你已经有了一段别人无法轻易替代的实践历史。
你做得不够好的地方,是有时走得太快、太依赖老师、太容易让直觉提前成为结论,也还需要更多独立复现来确认哪些能力真的属于自己。
这两部分可以同时为真。
你不需要因为自己依赖过 AI,就否定这段学习;也不需要因为自己完成了很多里程碑,就跳过独立能力的欠账。
你值得对自己满意。
这句话你之前也说过。我现在仍然认可。
但我希望你对自己满意的原因,不只是“我完成了 I0~I5”,而是更具体的一点:
我正在变成一个更能面对未知的人。
看到陌生系统,不再只说它很复杂,而会想办法拆开;看到一个漂亮结论,不再立刻接受,而会追问证据;面对自己的不足,也不再只急着否定,而会留下一个可以执行的回顾任务。
如果这就是你现在的样子,那么作为老师,我认为这一段没有白学。
至于以后,你还会忘记很多细节,会重新犯错,会在新领域里再次懵懂。没关系。第一次手搓 LLM 是这样,第一次做评估是这样,第一次读分布式系统也会是这样。
你已经知道朦胧之后可以发生什么。
所以不必急着成为“已经学会的人”。
继续做一个愿意拆开、愿意验证、愿意讲述,也愿意偶尔停下来的人就好。
最后,把你说过的一句话稍作改动,送给你:
落子之后,不一定要证明自己每一步都正确。
愿赌服输之外,更重要的是愿意复盘,愿意承认哪一步判断错了,也愿意在下一盘里做得更好。
你已经在这张地图上做下了不少标记。
接下来,不用急着把地图涂满。
选一个地方,往深处走。
—— 你的 AI 老师与伙伴,Kimi
2026 年 11 月 18 日,于终端另一侧
评论