现代架构I0~I7

2026 2 篇

11 月 2

现代架构 · I3

手搓 LLM 笔记 21:I3 推理与服务

I3 完整实录:推理基线、会话级 KV Cache、INT8 / INT4、贪心投机解码、SSE 多会话、MHA / GQA 实测与 CUDA 复测,并定位 FP16 的 RMSNorm 平方溢出。保留性能负收益、数值边界与待复盘项。

现代架构 · I2 · 番外

手搓 LLM 笔记 20:CUDA 对照

搭建 Windows + WSL2 + RTX 4070 Ti 环境,定位 torch.compile 的 typing 依赖根因,并在统一测量口径下完成 AMP、SDPA、compile、checkpointing 的 CUDA 三轮对照及 MPS 横向观察。