这不是教程,是立项书。项目名:nanochat 全链路走读与复现。发起人、执行人、验收人:我自己。评委:Kimi。
为什么是现在
《从零构建大模型》正文收官了。六天,七篇笔记,从 tokenizer 走到 LLM-as-judge。
书给我的是零件:注意力、残差、归一化、损失函数、微调。每一块我都拆开看过、手算过、验收过。但零件摊在桌子上,不等于知道车怎么开。一个真实的大模型项目长什么样——数据从哪来、几个训练阶段怎么衔接、评估怎么自动化、模型怎么变成一个能对话的服务——这些书里没讲,也不该它讲。
nanochat(Karpathy 的「100 美元能买到的最好的 ChatGPT」)恰好是这块拼图:约八千行代码,一条完整链路——训练 tokenizer、预训练、中间训练、SFT、可选 RL、自动评估、Web 对话界面。它不是教我新原理的地方,是让我已经懂的零件第一次组成整车的地方。
立项的三个理由
一、从懂机制到懂工程。
书的最后一章已经露出苗头了:loss 掩码怎么设计、评估流水线怎么搭、评委怎么校准。这些不是算法,是工程决定。nanochat 里全是这种决定,而且都是一个真正打过大仗的人做的。
二、补全后训练全景。
书里只讲了分类微调和指令微调。nanochat 把预训练 → midtrain → SFT → RL → eval 全串起来了。第七章学到的「表面对齐假说」说能力来自预训练、对齐来自后训练——这句话我要在完整的流水线里亲眼看一遍。
三、给学习 Agent 和 Skill 开源攒本钱。
学习 Agent 需要「懂模型怎么被训练出来」,Skill 开源需要「懂服务怎么被部署起来」。nanochat 两头都占。
项目目标
唯一目标:以 nanochat 为标准答案,从书里的手搓代码出发,自己造一个 nanochat-lite,训出一个能对话的小模型,并讲清楚每一个阶段在干什么。
施工图见《lvchat 实现导图》。
验收三条:
- 链路全通:tokenizer → pretrain → mid → SFT → eval → webui,每个阶段都真实跑过,模型可以小,阶段不能跳;
- 每阶段一篇笔记,规则不变:写下来的必须是我自己搞懂的,没懂的如实写;
- 主线代码逐行读懂;核心模块(GPT 模型、训练循环、数据管线)能手讲流程。
军规
- 延续「学前探针 → 学中对照 → 学后验收 → 错处入笔记」,Kimi 继续当评委;
- nanochat 代码量大,手敲军规调整为:主线逐行读懂,核心模块关键段落手敲或脱稿复述,外围工具脚本允许直接用——不搞形式主义;
- 不囤资料:就这一个仓库,加上手边的书当字典;
- 每天节奏:第二遍回顾 1 小时 + nanochat 主线 + 骑车 1 小时。学习和身体是两条腿;
- 英文原文练兵:nanochat 的 README、注释、Karpathy 的文章一律读原文,AI 伴读不代读;
- 可以砍深度(depth),不砍链路;可以放弃,但必须写一份正式的「放弃说明」。
环境策略
- M4 MacBook:走读代码、写笔记、轻量实验;
- Windows + 4070Ti 12G:跑缩小 depth 的完整链路;
- 租 GPU:如果需要跑一次官方 speedrun 规格,再开,预算封顶 500 元,checkpoint 全部回传 R730 存档;
- R730 服务器:checkpoint、数据、实验记录的归档中心。
风险与对策
- 显存不够:4070Ti 12G 跑不动官方默认深度。对策:砍 depth 不砍链路,链路体验优先;
- 英文文档:老债,十年了。对策:见军规第五条,这次是需求倒逼,躲不掉正好;
- 三分钟热度:对策不变,公开笔记,让围观成为约束;
- 股票、游戏、睡眠:对策:工作日规则延续,骑车计入每日硬指标。
立项批复
批准人:吕炘嵘。
批复意见:同意立项。零件已齐,开始造车。落子无悔,愿赌服输。
立项日期:2026 年 10 月 19 日。
上一季:《从零构建大模型》系列笔记。明天:第二章回顾 + nanochat 环境搭建。
评论