现代架构 · I2 · 番外
手搓 LLM 笔记 20:CUDA 对照
搭建 Windows + WSL2 + RTX 4070 Ti 环境,定位 torch.compile 的 typing 依赖根因,并在统一测量口径下完成 AMP、SDPA、compile、checkpointing 的 CUDA 三轮对照及 MPS 横向观察。
搭建 Windows + WSL2 + RTX 4070 Ti 环境,定位 torch.compile 的 typing 依赖根因,并在统一测量口径下完成 AMP、SDPA、compile、checkpointing 的 CUDA 三轮对照及 MPS 横向观察。
从 Mac/MPS 环境探针,到 FP32/FP16/BF16、SDPA、torch.compile 与 Activation Checkpointing 的重复对照实验;同时记录正确性、吞吐、内存和结论边界。