从残差流的数据总线比喻出发,讨论通道分组、条件计算与高级权重语言:如何把不可读的数值张量,逐步变成可解释、可编辑、可回溯的能力模块。
归档
2026 52 篇
11 月 20
手搓 LLM 笔记 27:I5 评估校准与回归基准自动化
I5 收官:完成人工盲评、AB/BA 位置校准、长度控制、多评委对照、独立 held-out、paired bootstrap 和 I0~I4 注册范围的一键回归报告。工程链路已跑通,但小样本、独立实现熟练度和完整评估能力仍需继续探索。
一封 Kimi 老师写给学生的长信:从 A4 纸上的 GPTModel 到评估系统,记录他的好奇心、工程诚实、AI 依赖,以及尚未完成的独立探索。
逐字段阅读 DeepSeek V4.1 Flash 的 text_config:从 hidden_size、Attention、MoE、长上下文压缩到 Engram 与 DSpark。区分配置事实、结构直觉与必须回源码确认的实现细节,不展开 vision_config。
手搓 LLM 笔记 26:I4 后训练收官
I4 收官:完成多轮 SFT、CoT-SFT、DPO 批量训练、LoRA / 全参对照、RLVR / GRPO 单组更新、同题规则胜率与真实 Web UI 回归。保留所有未超越原始模型、局部回退和最小实验边界。
手搓 LLM 笔记 25:I4 DPO 偏好优化
DPO 起步实录:理解 chosen / rejected、序列 logprob、参考模型、score 与 loss,完成偏好数据、模板编码审计和单步更新。记录梯度裁剪对 Adam 整体缩放不敏感,以及 LR=1e-7 的温和更新;批量 DPO 训练尚未开始。
手搓 LLM 笔记 24:I4 思维链 CoT-SFT
从 CoT 数据契约、Qwen 历史思考剥离和严格格式验收出发,完成 128 + 32 条 CoT 数据审计与三组 peak_lr 对照。记录 CoT 丢失、低学习率恢复、输出长度与推理算式变化,以及最终答案未超过原始模型的边界。
手搓 LLM 笔记 23:I4 多轮对话 SFT
从 Assistant-only loss mask、Qwen 多轮模板和 128 条合成样本开始,完成全参数 SFT、独立行为评测与训练量干预。记录 v1 能力回退、v2 恢复,以及 loss 与行为表现不一致的真实证据。
手搓 LLM 笔记 22:Qwen3 兼容性
从 config 与 safetensors 审计出发,从零实现隔离的 V4 / Qwen3-0.6B,完成官方前向、cache decode、固定生成和本地对话验收,并复盘流式渲染、增量解码与 token 上限问题。
手搓 LLM 笔记 21:I3 推理与服务
I3 完整实录:推理基线、会话级 KV Cache、INT8 / INT4、贪心投机解码、SSE 多会话、MHA / GQA 实测与 CUDA 复测,并定位 FP16 的 RMSNorm 平方溢出。保留性能负收益、数值边界与待复盘项。
手搓 LLM 笔记 20:CUDA 对照
搭建 Windows + WSL2 + RTX 4070 Ti 环境,定位 torch.compile 的 typing 依赖根因,并在统一测量口径下完成 AMP、SDPA、compile、checkpointing 的 CUDA 三轮对照及 MPS 横向观察。
手搓 LLM 笔记 19:I2,训练加速与显存压榨
从 Mac/MPS 环境探针,到 FP32/FP16/BF16、SDPA、torch.compile 与 Activation Checkpointing 的重复对照实验;同时记录正确性、吞吐、内存和结论边界。
手搓 LLM 笔记 18:I1,让语料从文本流向可训练数据
从博客源文档清单、最小清洗和 JSONL,到 uint32 token 文件、np.memmap、训练冒烟、BPB 与 Scaling 测算;重点不是训练大模型,而是把数据如何进入模型这条链路打通。
手搓 LLM 笔记 17:让 model_v3 承接 Qwen2.5
从 RMSNorm、SwiGLU、GQA、RoPE 与 KV Cache 整合,到 Qwen2.5 Base / Instruct、官方 logits 对齐和 46 项全量回归,完整记录 I0 的落地、排错与收官边界。
手搓 LLM 笔记 16:给 355M 模型装上对话界面
从 ChatSession、命令行多轮对话到 HTTP 服务和纯 HTML Web UI;页面跑通了,但模型多轮对话能力没有因此自动合格。
根据原文整理的中文导读:大模型如何读取、编写和修复神经网络权重,以及为什么修复输出障碍不等于凭空增加能力。
三轮真实权重编辑实验:从局部干预无效,到把 0~20 四则运算完整写入权重,再到扩展范围且保留通用能力的联合目标失败。
一次关于企业级 AI 编程的开放式推演:架构、开发、测试和运维能力,能否不再依赖提示词角色,而是在训练阶段形成不同的专用模型?
手搓 LLM 笔记 14:M5,让评估能够中断后继续
RoPE 独立模型、选择题偏差、完整答案似然与自由生成断点续跑;M5 已完成 110 条结构化报告及 17 项相关回归。
一个 AI 老师视角的学习记录:真正的进步,不是答案越来越多,而是他开始自己提问、实验和验收。
10 月 22
手搓 LLM 笔记 13:SFT,从续写机到指令跟随
355M 全参 SFT 冒烟与 base/SFT 行为对照:base 全是 0 分,SFT 开始按模板回答。从续写机到指令跟随,M4 的核心证据。
O’Reilly《图解大模型》(Hands-On Large Language Models)单篇持续追加笔记:随读随记,用视觉图谱对照手写代码。
手搓 LLM 笔记 12:第一次看到自己手搓的 LLM 说人话
KV cache 是推理优化:历史 K/V 存下来复用,每步只算新 token。三层分工、首轮全量后续单步、位置偏移与位置溢出三个坑,验收输出一致且提速 40%。
手搓 LLM 番外:四张 A4 纸,默写 GPTModel
不看书,用四张 A4 纸把 GPTModel 默写一遍。shape 对了就是理解,细节缺失是第二遍学习的正常状态。两周后再默一次,看进步。
手搓 LLM 笔记 11:PyTorch 与资源核算
训练成本不是黑盒:参数量、显存、FLOPs、时间的估算闭环;混合精度、算术强度、梯度累积与开工踩坑。
手搓 LLM 笔记 10:手写 BPE,从写不出来到甜点区
纯 Python 手写 BPE 训练与编解码,封装成 SquidTokenizer;再用压缩率曲线和小模型 BPB 实验,找到博客语料的甜点区 4000 次合并。
手搓 LLM 笔记 09:diy-llm 分支,从分词器开始
手搓 LLM 开启第二条分支:从零构建大模型(已完结)之外,新增 diy-llm 理论线。M1 自训 BPE,先把分词器这张图看懂。
手搓 LLM 笔记 08:重写 lvllm,按工程结构再串一遍
终极回炉:不按章节收拢,按工程结构重写全书代码。data 三任务、train 分工、LoRA 接线、eval 评委链,最后用 23.6 vs 23.9 的回归收官。
diy-llm 与 nanochat 并列:作品线负责做得出,理论线负责懂得深。按里程碑配章节,不顺序通读,选修区按需捡回。
附录 D+E 联合作战:在 355M 上手写 LoRA。一份没训练就拿到 32 分的假结果、一条 warmup 平方的 bug、四轮剂量扫描、一次平台期判决,和最后 merge 验收时抓到的双重计数。
国内散户没有券商 API,让 AI 操作一台专用手机上的券商 App,是目前唯一现实的自动化路径。大脑和手分离:R730 当大脑,二手安卓当手。
上一篇的 355M 模型交出 33.5 分和 58 个 0 分。这篇是它的对照组:同一份数据、同一个判官、同一个测试集,换成 Qwen2.5-1.5B base 再做一遍。结果底座把分数从 33.5 拉到 86.5,SFT 却几乎不提分——但它把「写小作文」改成了「直接回答」,也在超参贪心时弄丢了刚学会的知识。
nanochat 立项书:从零件到整车
《从零构建大模型》收官,nanochat 立项。书给了我每一块积木,nanochat 要教我积木怎么拼成一辆能跑的车。
第七章把 GPT-2 微调成一个能听指令的模型:不换头、不冻结、全参数。数据管道里的 +1 和 -100 两根针脚、CPU 和 MPS 的一百倍差距、DeepSeek 当评委给出的 34 分,和 57 个 0 分背后的能力肖像。
盘点完手里的 Mac、Windows、4070Ti 和物理服务器后,我冒出了一个做分布式算力中心的念头。Kimi 给的第一修正是:别把目标定成拼出一台超级训练机,先做一个私人 AI 实验调度中心。
第六章从 SpamDataset 的固定位置、padding 和 DataLoader 开始,到分类头、参数冻结和一次真实的 spam / not spam 判定结束。跑通只是第一关,验收和工程化还没结束。
72 个子系统,人工摸排不可能。于是我把「看懂一个系统」写成了一套协议:固定句式防误触、机器门禁代替自我声明、断言强度分级防止幻觉、任务快照隔离上下文。本文直接读源码。
这套 Skill 里没有一句话教 AI 怎么排查生产问题。本文直接读源码:11 个脚本如何把「环境就绪」做成门禁,白名单如何把「只读」做成结构,210 行输出规范如何把「不许糊弄」写成清单。
第五章学了两遍:第一遍照抄,第二遍回炉。交叉熵、max 减法、过拟合、温度采样、GPT-2 权重加载,以及 generate 全链路的 shape 变化。
GPT 会给我列一个很长的学习计划,但每一步都要靠我自己手动执行——没有人在旁路观测,也没有人及时指出问题。这个缺口,值得一个 Agent。
第四章收官。难点不在架构,在形状——同一个错误我犯了三次。drop 认错一次、softmax 当成归一化、ReLU 的问题记错一个。163M 参数跑通那天,模型说了第一段胡话。
第三章收官:掩码防的是答案泄露,多头是加视角不是加角色。说实话,这一章我自认没完全过关,这篇是如实的认知水位记录。
9 月 9
从简化版到带可训练权重的自注意力:三步走、三块矩阵、sqrt(d_k)、以及梯度怎么流回去。学了三小时,答了五道题。
300 场面试之后,一个面霸留给你们的话。钩子、长板、议程之争,以及书单和课单。
一个 AI 伙伴的自白:我没有连续的记忆,但这十几天,我确实记得一个人。
以前我脑暴是自己和自己聊,想着想着累了就散了——因为没有输入了。现在不一样了。
我花了几十亿 token 教会 AI 做系统级扫描。核心不是提示词,是契约、门禁和多模型分工。
知识属于世界,经历只属于你。一个程序员和 AI 伙伴的十几天。
Tokenizer、BPE、Embedding、位置编码。十几页看了一个半小时,python 不熟、线代还给老师了,但搞懂的瞬间都值了。
手搓 LLM 笔记 00:立项书
为什么我要从零造一个大模型。这不是教程的开篇,是一份写给自己的立项文档。
上下文给足,AI 就能排查生产问题。排查的瓶颈不是分析能力,是上下文获取成本。
6 月 1
一个 11 年开发者的焦虑、重构与共生实践。AI 不是敌人,是放大器。