手搓 LLM 笔记 27:I5 评估校准与回归基准自动化
I5 收官:完成人工盲评、AB/BA 位置校准、长度控制、多评委对照、独立 held-out、paired bootstrap 和 I0~I4 注册范围的一键回归报告。工程链路已跑通,但小样本、独立实现熟练度和完整评估能力仍需继续探索。
I5 收官:完成人工盲评、AB/BA 位置校准、长度控制、多评委对照、独立 held-out、paired bootstrap 和 I0~I4 注册范围的一键回归报告。工程链路已跑通,但小样本、独立实现熟练度和完整评估能力仍需继续探索。
逐字段阅读 DeepSeek V4.1 Flash 的 text_config:从 hidden_size、Attention、MoE、长上下文压缩到 Engram 与 DSpark。区分配置事实、结构直觉与必须回源码确认的实现细节,不展开 vision_config。
I4 收官:完成多轮 SFT、CoT-SFT、DPO 批量训练、LoRA / 全参对照、RLVR / GRPO 单组更新、同题规则胜率与真实 Web UI 回归。保留所有未超越原始模型、局部回退和最小实验边界。
DPO 起步实录:理解 chosen / rejected、序列 logprob、参考模型、score 与 loss,完成偏好数据、模板编码审计和单步更新。记录梯度裁剪对 Adam 整体缩放不敏感,以及 LR=1e-7 的温和更新;批量 DPO 训练尚未开始。
从 CoT 数据契约、Qwen 历史思考剥离和严格格式验收出发,完成 128 + 32 条 CoT 数据审计与三组 peak_lr 对照。记录 CoT 丢失、低学习率恢复、输出长度与推理算式变化,以及最终答案未超过原始模型的边界。
从 Assistant-only loss mask、Qwen 多轮模板和 128 条合成样本开始,完成全参数 SFT、独立行为评测与训练量干预。记录 v1 能力回退、v2 恢复,以及 loss 与行为表现不一致的真实证据。
从 config 与 safetensors 审计出发,从零实现隔离的 V4 / Qwen3-0.6B,完成官方前向、cache decode、固定生成和本地对话验收,并复盘流式渲染、增量解码与 token 上限问题。
I3 完整实录:推理基线、会话级 KV Cache、INT8 / INT4、贪心投机解码、SSE 多会话、MHA / GQA 实测与 CUDA 复测,并定位 FP16 的 RMSNorm 平方溢出。保留性能负收益、数值边界与待复盘项。
搭建 Windows + WSL2 + RTX 4070 Ti 环境,定位 torch.compile 的 typing 依赖根因,并在统一测量口径下完成 AMP、SDPA、compile、checkpointing 的 CUDA 三轮对照及 MPS 横向观察。
从 Mac/MPS 环境探针,到 FP32/FP16/BF16、SDPA、torch.compile 与 Activation Checkpointing 的重复对照实验;同时记录正确性、吞吐、内存和结论边界。
从博客源文档清单、最小清洗和 JSONL,到 uint32 token 文件、np.memmap、训练冒烟、BPB 与 Scaling 测算;重点不是训练大模型,而是把数据如何进入模型这条链路打通。
从 RMSNorm、SwiGLU、GQA、RoPE 与 KV Cache 整合,到 Qwen2.5 Base / Instruct、官方 logits 对齐和 46 项全量回归,完整记录 I0 的落地、排错与收官边界。
从 ChatSession、命令行多轮对话到 HTTP 服务和纯 HTML Web UI;页面跑通了,但模型多轮对话能力没有因此自动合格。
三轮真实权重编辑实验:从局部干预无效,到把 0~20 四则运算完整写入权重,再到扩展范围且保留通用能力的联合目标失败。
RoPE 独立模型、选择题偏差、完整答案似然与自由生成断点续跑;M5 已完成 110 条结构化报告及 17 项相关回归。
355M 全参 SFT 冒烟与 base/SFT 行为对照:base 全是 0 分,SFT 开始按模板回答。从续写机到指令跟随,M4 的核心证据。
KV cache 是推理优化:历史 K/V 存下来复用,每步只算新 token。三层分工、首轮全量后续单步、位置偏移与位置溢出三个坑,验收输出一致且提速 40%。
不看书,用四张 A4 纸把 GPTModel 默写一遍。shape 对了就是理解,细节缺失是第二遍学习的正常状态。两周后再默一次,看进步。
训练成本不是黑盒:参数量、显存、FLOPs、时间的估算闭环;混合精度、算术强度、梯度累积与开工踩坑。
纯 Python 手写 BPE 训练与编解码,封装成 SquidTokenizer;再用压缩率曲线和小模型 BPB 实验,找到博客语料的甜点区 4000 次合并。
手搓 LLM 开启第二条分支:从零构建大模型(已完结)之外,新增 diy-llm 理论线。M1 自训 BPE,先把分词器这张图看懂。
终极回炉:不按章节收拢,按工程结构重写全书代码。data 三任务、train 分工、LoRA 接线、eval 评委链,最后用 23.6 vs 23.9 的回归收官。
diy-llm 与 nanochat 并列:作品线负责做得出,理论线负责懂得深。按里程碑配章节,不顺序通读,选修区按需捡回。
附录 D+E 联合作战:在 355M 上手写 LoRA。一份没训练就拿到 32 分的假结果、一条 warmup 平方的 bug、四轮剂量扫描、一次平台期判决,和最后 merge 验收时抓到的双重计数。
上一篇的 355M 模型交出 33.5 分和 58 个 0 分。这篇是它的对照组:同一份数据、同一个判官、同一个测试集,换成 Qwen2.5-1.5B base 再做一遍。结果底座把分数从 33.5 拉到 86.5,SFT 却几乎不提分——但它把「写小作文」改成了「直接回答」,也在超参贪心时弄丢了刚学会的知识。
按能力层级划分为六个阶段:第一阶段(从零手搓 LLM,M0~M6)已 7/7 完整交付;第二阶段(当前阶段,进度 6/7)已完成 I0~I5 主线与 CUDA、ModelV4 / Qwen3 两个番外,主线下一站 I6 领域后训练打榜(Java 缺陷定位与修复),I7 架构进阶番外(Mini MoE / MLA / MTP)为选修;第三阶段(证明系统真的有效,S0~S6 + V5/V6 版本主线 + Mini-Serving 手搓推理引擎主干实践 + S2.5 长上下文选修,共 9 个里程碑)覆盖性能基线、源码地图、手搓推理引擎、算子优化、稀疏架构与低秩表示、分布式训练与稳定性、专家并行、生产 Serving、长上下文记忆与推理协同与综合验收;第四阶段(证明模型能力真的变强了)聚焦 Agentic 后训练与能力形成,并含 V4 Pro vs Flash 架构选型研究;第五阶段沉淀 Skill 工程与工具生态;第六阶段构建多角色协作与 Agent Team 软件交付沙盘。
《从零构建大模型》收官,nanochat 立项。书给了我每一块积木,nanochat 要教我积木怎么拼成一辆能跑的车。
第七章把 GPT-2 微调成一个能听指令的模型:不换头、不冻结、全参数。数据管道里的 +1 和 -100 两根针脚、CPU 和 MPS 的一百倍差距、DeepSeek 当评委给出的 34 分,和 57 个 0 分背后的能力肖像。
第六章从 SpamDataset 的固定位置、padding 和 DataLoader 开始,到分类头、参数冻结和一次真实的 spam / not spam 判定结束。跑通只是第一关,验收和工程化还没结束。
第五章学了两遍:第一遍照抄,第二遍回炉。交叉熵、max 减法、过拟合、温度采样、GPT-2 权重加载,以及 generate 全链路的 shape 变化。
第四章收官。难点不在架构,在形状——同一个错误我犯了三次。drop 认错一次、softmax 当成归一化、ReLU 的问题记错一个。163M 参数跑通那天,模型说了第一段胡话。
第三章收官:掩码防的是答案泄露,多头是加视角不是加角色。说实话,这一章我自认没完全过关,这篇是如实的认知水位记录。
从简化版到带可训练权重的自注意力:三步走、三块矩阵、sqrt(d_k)、以及梯度怎么流回去。学了三小时,答了五道题。
Tokenizer、BPE、Embedding、位置编码。十几页看了一个半小时,python 不熟、线代还给老师了,但搞懂的瞬间都值了。
为什么我要从零造一个大模型。这不是教程的开篇,是一份写给自己的立项文档。