现代架构 · I2
手搓 LLM 笔记 19:I2,训练加速与显存压榨
从 Mac/MPS 环境探针,到 FP32/FP16/BF16、SDPA、torch.compile 与 Activation Checkpointing 的重复对照实验;同时记录正确性、吞吐、内存和结论边界。
从 Mac/MPS 环境探针,到 FP32/FP16/BF16、SDPA、torch.compile 与 Activation Checkpointing 的重复对照实验;同时记录正确性、吞吐、内存和结论边界。
训练成本不是黑盒:参数量、显存、FLOPs、时间的估算闭环;混合精度、算术强度、梯度累积与开工踩坑。