写代码,也写自己
菜单
实现导图
手搓 LLM
从零构建大模型
连载
读《从零构建大模型》,把每一层都拆开看
源码图谱
图谱总览
专栏
长期源码阅读地图(规划中)
Qwen 源码图谱
家族
Qwen 家族模块级阅读地图
DeepSeek 源码图谱
家族
DeepSeek 家族模块级阅读地图
混元源码图谱
家族
混元家族模块级阅读地图
Moonshot 源码图谱
家族
Moonshot 家族模块级阅读地图
智谱源码图谱
家族
智谱家族模块级阅读地图
AI 随想
工程实践
工程手记
专栏
工程中的判断、取舍与踩坑
生产排查 Skill 诞生记
连载
从排查困境到一个 Skill 的打磨过程
系统扫描 Skill 诞生记
连载
把看懂一个系统变成可复核的流程
读书笔记
归档
关于
主页
标签
资源核算
从零手搓
M0~M6
2026
1 篇
10 月
1
10.28
从零手搓 · M2
手搓 LLM 笔记 11:PyTorch 与资源核算
训练成本不是黑盒:参数量、显存、FLOPs、时间的估算闭环;混合精度、算术强度、梯度累积与开工踩坑。