置顶:lvchat 实现导图(学习计划)

并列栏目:大模型源码图谱 —— 与手搓 LLM 并列的顶级长期源码阅读地图(Qwen / DeepSeek / 混元 / Moonshot / 智谱),独立于 I 阶段主线、按需展开;不要求所有家族同时开工,不改变当前主线优先级。当前全部规划中。

学习路线、进度与更新记录

学习路线与总进度

主线按顺序推进:先完成《从零构建大模型》,再学习 nanochat;之后整理并开源两个 Skill,再把这次学习过程中跑通的方法沉淀成学习 Agent;更远期再探索纯 AI 炒股。当前只推进一条主线,不提前并行开坑;大模型源码图谱 作为与手搓 LLM 并列的独立阅读栏目,按需展开,不算并行开坑。

路线总览

阶段 内容 目标 状态
01 《从零构建大模型》 手敲核心代码,逐章验证理解,留下学习笔记 正文收官,进入第二遍回顾
02 nanochat 走一遍更完整的大模型工程链路,把书中的局部机制串成完整项目 已立项(立项书),与第二遍回顾同步开始
03 两个 Skill 开源 整理生产问题排查与系统扫描 Skill,完成脱敏、通用化、文档和可复现示例 待开始
04 学习 Agent 从「开发者学习大模型」这个小场景开始,把前置测绘、伴学、验收和回炉做成持续可用的工具 已留痕,待启动
05 纯 AI 炒股 做一个股票账户完全交给 AI 打理的项目,具体方案届时再细化 远期方向,待细化

学习 Agent 的最初脑暴已经留在《学习计划不该是一张孤零零的清单》,正式开工仍排在 nanochat 和两个 Skill 之后。

纯 AI 炒股目前只记录方向和原则,不提前设计交易策略与系统形态,等正式立项时再补齐方案。

学习过程中暴露出的知识债单独维护在《学习回炉待办》。它不占章节编号,也不打断当前主线。

当前阶段:《从零构建大模型》

章节 状态 学习记录
第二章:文本与 token 已完成 笔记 01:把文本变成数字
第三章:注意力机制 已完成 笔记 02:注意力,让每个 token 看完全场
第三章:因果掩码与多头注意力 已完成 笔记 03:因果掩码与多头注意力
第四章:GPT 架构 已完成 笔记 04:把 GPT 拼起来
第五章:预训练与生成 已完成,已回炉 笔记 05:预训练、损失函数与生成
第六章:分类微调 已完成 笔记 06:分类微调,从数据管道到换头
第七章:指令微调 已完成,正文收官 笔记 07:指令微调,掩码、表面对齐与 AI 评委
第七章·番外:换底座 已完成 笔记 07-2:换底座,从 33.5 分的 GPT-2 到 86.5 分的 Qwen
第七章·番外:LoRA 剂量实验 已完成 笔记 07-3:LoRA 剂量实验,从没训练的 32 分到平台期判决
附录 A:PyTorch 已完成 快速通读,补「会用但没系统学过」的地基
附录 D:训练循环增强 已完成 warmup、cosine 衰减、梯度裁剪,手敲验收;结论见笔记 07-3
附录 E:LoRA 微调 已完成 手写 LoRA + 四轮剂量扫描 + merge 验收;结论见笔记 07-3
重写 lvllm(终极回炉) 待开始 按工程结构重写全书代码,即 笔记 08(草稿);施工图见 lvchat 实现导图

更新记录

  • 2026-10-16:建立学习路线与总进度,当前进入第六章分类微调。
  • 2026-10-16:新增学习回炉待办页,记录第三、四章的手写回炉任务。
  • 2026-10-16:发布第六章分类微调笔记,当前进入第七章指令微调。
  • 2026-10-19:发布第七章指令微调笔记,正文收官,进入第二遍回顾;nanochat 调整为与回顾同步开始。
  • 2026-10-19:nanochat 立项并升级为自造 nanochat-lite,发布 lvchat 实现导图;附录 A/D/E 转为正式安排。