从零手搓 · M2
手搓 LLM 笔记 11:PyTorch 与资源核算
训练成本不是黑盒:参数量、显存、FLOPs、时间的估算闭环;混合精度、算术强度、梯度累积与开工踩坑。
训练成本不是黑盒:参数量、显存、FLOPs、时间的估算闭环;混合精度、算术强度、梯度累积与开工踩坑。
纯 Python 手写 BPE 训练与编解码,封装成 SquidTokenizer;再用压缩率曲线和小模型 BPB 实验,找到博客语料的甜点区 4000 次合并。
手搓 LLM 开启第二条分支:从零构建大模型(已完结)之外,新增 diy-llm 理论线。M1 自训 BPE,先把分词器这张图看懂。
diy-llm 与 nanochat 并列:作品线负责做得出,理论线负责懂得深。按里程碑配章节,不顺序通读,选修区按需捡回。
按能力层级划分为六个阶段:第一阶段(从零手搓 LLM,M0~M6)已 7/7 完整交付;第二阶段(当前阶段,进度 6/7)已完成 I0~I5 主线与 CUDA、ModelV4 / Qwen3 两个番外,主线下一站 I6 领域后训练打榜(Java 缺陷定位与修复),I7 架构进阶番外(Mini MoE / MLA / MTP)为选修;第三阶段(证明系统真的有效,S0~S6 + V5/V6 版本主线 + Mini-Serving 手搓推理引擎主干实践 + S2.5 长上下文选修,共 9 个里程碑)覆盖性能基线、源码地图、手搓推理引擎、算子优化、稀疏架构与低秩表示、分布式训练与稳定性、专家并行、生产 Serving、长上下文记忆与推理协同与综合验收;第四阶段(证明模型能力真的变强了)聚焦 Agentic 后训练与能力形成,并含 V4 Pro vs Flash 架构选型研究;第五阶段沉淀 Skill 工程与工具生态;第六阶段构建多角色协作与 Agent Team 软件交付沙盘。