从零手搓M0~M6现代架构I0~I7番外独立支线 / 番外

2026 35 篇

11 月 15

现代架构 · I5

手搓 LLM 笔记 27:I5 评估校准与回归基准自动化

I5 收官:完成人工盲评、AB/BA 位置校准、长度控制、多评委对照、独立 held-out、paired bootstrap 和 I0~I4 注册范围的一键回归报告。工程链路已跑通,但小样本、独立实现熟练度和完整评估能力仍需继续探索。

现代架构 · I4

手搓 LLM 笔记 26:I4 后训练收官

I4 收官:完成多轮 SFT、CoT-SFT、DPO 批量训练、LoRA / 全参对照、RLVR / GRPO 单组更新、同题规则胜率与真实 Web UI 回归。保留所有未超越原始模型、局部回退和最小实验边界。

现代架构 · I4

手搓 LLM 笔记 25:I4 DPO 偏好优化

DPO 起步实录:理解 chosen / rejected、序列 logprob、参考模型、score 与 loss,完成偏好数据、模板编码审计和单步更新。记录梯度裁剪对 Adam 整体缩放不敏感,以及 LR=1e-7 的温和更新;批量 DPO 训练尚未开始。

现代架构 · I4

手搓 LLM 笔记 24:I4 思维链 CoT-SFT

从 CoT 数据契约、Qwen 历史思考剥离和严格格式验收出发,完成 128 + 32 条 CoT 数据审计与三组 peak_lr 对照。记录 CoT 丢失、低学习率恢复、输出长度与推理算式变化,以及最终答案未超过原始模型的边界。

现代架构 · I4

手搓 LLM 笔记 23:I4 多轮对话 SFT

从 Assistant-only loss mask、Qwen 多轮模板和 128 条合成样本开始,完成全参数 SFT、独立行为评测与训练量干预。记录 v1 能力回退、v2 恢复,以及 loss 与行为表现不一致的真实证据。

现代架构 · I3 · 番外

手搓 LLM 笔记 22:Qwen3 兼容性

从 config 与 safetensors 审计出发,从零实现隔离的 V4 / Qwen3-0.6B,完成官方前向、cache decode、固定生成和本地对话验收,并复盘流式渲染、增量解码与 token 上限问题。

现代架构 · I3

手搓 LLM 笔记 21:I3 推理与服务

I3 完整实录:推理基线、会话级 KV Cache、INT8 / INT4、贪心投机解码、SSE 多会话、MHA / GQA 实测与 CUDA 复测,并定位 FP16 的 RMSNorm 平方溢出。保留性能负收益、数值边界与待复盘项。

现代架构 · I2 · 番外

手搓 LLM 笔记 20:CUDA 对照

搭建 Windows + WSL2 + RTX 4070 Ti 环境,定位 torch.compile 的 typing 依赖根因,并在统一测量口径下完成 AMP、SDPA、compile、checkpointing 的 CUDA 三轮对照及 MPS 横向观察。

10 月 17

从零手搓 · 番外

手搓 LLM 笔记 07-2:换底座,从 33.5 分的 GPT-2 到 86.5 分的 Qwen

上一篇的 355M 模型交出 33.5 分和 58 个 0 分。这篇是它的对照组:同一份数据、同一个判官、同一个测试集,换成 Qwen2.5-1.5B base 再做一遍。结果底座把分数从 33.5 拉到 86.5,SFT 却几乎不提分——但它把「写小作文」改成了「直接回答」,也在超参贪心时弄丢了刚学会的知识。

lvchat 实现导图:主干先行,局部进化,持续验收

按能力层级划分为六个阶段:第一阶段(从零手搓 LLM,M0~M6)已 7/7 完整交付;第二阶段(当前阶段,进度 6/7)已完成 I0~I5 主线与 CUDA、ModelV4 / Qwen3 两个番外,主线下一站 I6 领域后训练打榜(Java 缺陷定位与修复),I7 架构进阶番外(Mini MoE / MLA / MTP)为选修;第三阶段(证明系统真的有效,S0~S6 + V5/V6 版本主线 + Mini-Serving 手搓推理引擎主干实践 + S2.5 长上下文选修,共 9 个里程碑)覆盖性能基线、源码地图、手搓推理引擎、算子优化、稀疏架构与低秩表示、分布式训练与稳定性、专家并行、生产 Serving、长上下文记忆与推理协同与综合验收;第四阶段(证明模型能力真的变强了)聚焦 Agentic 后训练与能力形成,并含 V4 Pro vs Flash 架构选型研究;第五阶段沉淀 Skill 工程与工具生态;第六阶段构建多角色协作与 Agent Team 软件交付沙盘。

58 分钟
从零手搓

手搓 LLM 笔记 04:把 GPT 拼起来

第四章收官。难点不在架构,在形状——同一个错误我犯了三次。drop 认错一次、softmax 当成归一化、ReLU 的问题记错一个。163M 参数跑通那天,模型说了第一段胡话。

9 月 3