<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>SSH on 吕炘嵘的博客</title>
    <link>https://blog.lvxinrong.com/tags/ssh/</link>
    <description>Recent content in SSH on 吕炘嵘的博客</description>
    <image>
      <title>吕炘嵘的博客</title>
      <url>https://blog.lvxinrong.com/og-default.jpg</url>
      
      <link>https://blog.lvxinrong.com/tags/ssh/</link>
    </image>
    <generator>Hugo</generator>
    <language>zh-CN</language>
    <lastBuildDate>Wed, 11 Nov 2026 10:57:55 +0800</lastBuildDate>
    <atom:link href="https://blog.lvxinrong.com/tags/ssh/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>手搓 LLM 笔记 20：CUDA 对照</title>
      <link>https://blog.lvxinrong.com/llm/llm-20-i2-windows-cuda/</link>
      <pubDate>Wed, 11 Nov 2026 10:57:55 +0800</pubDate>
      <guid>https://blog.lvxinrong.com/llm/llm-20-i2-windows-cuda/</guid>
      <description>搭建 Windows + WSL2 + RTX 4070 Ti 环境，定位 torch.compile 的 typing 依赖根因，并在统一测量口径下完成 AMP、SDPA、compile、checkpointing 的 CUDA 三轮对照及 MPS 横向观察。</description>
      <content:encoded><![CDATA[<p>这次最直观的感受是：<strong>RTX 4070 Ti + CUDA 确实猛</strong>。一张 2023 年左右花六千多元买的 RTX 4070 Ti，和一台 2025 年年中花两万一千元买的 MacBook M4 Pro（48 GB），购买时间相隔约两三年，价格相差三倍多。我原本以为，更晚、更贵的设备至少不会在训练任务上吃亏；真正跑完对照才发现，在当前这套手搓模型的训练实验中，4070 Ti 的 FP32 吞吐已接近 Mac / MPS 的两倍，在 BF16、FP16 和 compile 等配置下甚至超过两倍。这个结果确实出乎我的意料。</p>
<p>当然，这不是一场严格的同台比价：显卡和 Mac 整机的定位不同，4070 Ti 的 12 GB 显存也会限制可训练的模型规模，MacBook 的 48 GB 统一内存则有另一方面的优势。真正让我有触动的，也不只是“N 卡更快”这个结论，而是我终于用同一套代码、同一份数据和自己跑出来的指标，把过去听别人说的“训练更适合 N 卡”，变成了亲手验证过的事实。</p>
<blockquote>
<p>今天的主线原本只是“在 Windows 上复跑 I2 实验”。过程中不仅搭建了一套以后可以反复使用的 GPU 环境、完成了一次典型的依赖排障，也得到了六组 CUDA 正式结果和一份保留边界的 MPS / CUDA 对照。</p>
</blockquote>
<h2 id="一为什么需要这套环境">一、为什么需要这套环境？</h2>
<p>昨天的 I2 实验都在 Mac/MPS 上完成。它能验证模型逻辑和当前设备上的性能，但不能代表 CUDA、大显存和 NVIDIA 优化生态。</p>
<p>Windows 台式机里有一张 RTX 4070 Ti，显存约 12 GB。I2 番外要在同一套代码、同一份 token 数据、同一组训练配置下，复跑：</p>
<ul>
<li>FP32 / FP16 / BF16（AMP）；</li>
<li>eager / SDPA；</li>
<li>torch.compile；</li>
<li>Activation Checkpointing。</li>
</ul>
<p>目标不是推翻 Mac 结果，而是得到一组可以并列比较的 CUDA 对照。</p>
<h2 id="二从-mac-远程操作-windows">二、从 Mac 远程操作 Windows</h2>
<p>为了避免在 Mac 和 Windows 两套键盘、两个终端之间来回切换，这次使用 SSH。</p>
<p>Windows 上安装并启动 OpenSSH Server：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-powershell" data-lang="powershell"><span class="line"><span class="cl"><span class="nb">Add-WindowsCapability</span> <span class="n">-Online</span> <span class="n">-Name</span> <span class="n">OpenSSH</span><span class="p">.</span><span class="n">Server</span><span class="p">~~~~</span><span class="mf">0.0</span><span class="p">.</span><span class="py">1</span><span class="p">.</span><span class="py">0</span>
</span></span><span class="line"><span class="cl"><span class="nb">Start-Service</span> <span class="n">sshd</span>
</span></span><span class="line"><span class="cl"><span class="nb">Set-Service</span> <span class="n">-Name</span> <span class="n">sshd</span> <span class="n">-StartupType</span> <span class="n">Automatic</span>
</span></span></code></pre></div><p>安装过程中一度出现进度条不更新、<code>NotPresent</code> 和后台服务仍在运行的情况。检查后发现 BITS 处于停止状态，启动：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-powershell" data-lang="powershell"><span class="line"><span class="cl"><span class="nb">Start-Service</span> <span class="n">BITS</span>
</span></span></code></pre></div><p>随后组件状态变为 <code>Installed</code>。</p>
<p>防火墙中已有 <code>OpenSSH-Server-In-TCP</code>，无需重复创建。规则状态为：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">Enabled = True
</span></span><span class="line"><span class="cl">Direction = Inbound
</span></span><span class="line"><span class="cl">Action = Allow
</span></span><span class="line"><span class="cl">Profile = Private
</span></span></code></pre></div><p>然后使用 Windows 的以太网 IPv4 地址 <code>192.168.3.8</code>，从 Mac 登录：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">ssh lv@192.168.3.8
</span></span></code></pre></div><p>登录成功后进入 Ubuntu：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-powershell" data-lang="powershell"><span class="line"><span class="cl"><span class="n">wsl</span> <span class="n">-d</span> <span class="n">Ubuntu</span><span class="p">-</span><span class="mf">24.04</span>
</span></span></code></pre></div><p>这样，后续命令就可以统一在 Mac 终端中执行，不再需要两套键盘和两套操作习惯。</p>
<p>这条链路是：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">Mac
</span></span><span class="line"><span class="cl">→ SSH
</span></span><span class="line"><span class="cl">→ Windows
</span></span><span class="line"><span class="cl">→ WSL2 / Ubuntu 24.04
</span></span><span class="line"><span class="cl">→ RTX 4070 Ti
</span></span></code></pre></div><p>不需要额外引入 KVM 或维护另一套独立虚拟机。</p>
<h2 id="三统一运行环境">三、统一运行环境</h2>
<p>进入 Ubuntu 后，确认：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">Git 2.43.0
</span></span><span class="line"><span class="cl">Python 3.12.3（Ubuntu 系统初始版本）
</span></span></code></pre></div><p>随后安装 uv，并让项目使用与 Mac 一致的 Python 3.12.12：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">curl -LsSf https://astral.sh/uv/install.sh <span class="p">|</span> sh
</span></span><span class="line"><span class="cl"><span class="nb">source</span> <span class="s2">&#34;</span><span class="nv">$HOME</span><span class="s2">/.local/bin/env&#34;</span>
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl">uv python install 3.12.12
</span></span><span class="line"><span class="cl">uv sync --python 3.12.12
</span></span></code></pre></div><p>项目的 <code>requires-python = &quot;&gt;=3.12&quot;</code> 只规定最低版本，并不会自动选择 Mac 的 3.12.12，因此这里显式指定版本。</p>
<p>代码克隆后锁定到与 Mac 相同的提交：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">git switch --detach 5fcd3c2958e935dae805f051f8a628baa9e8ef59
</span></span></code></pre></div><p><code>detached HEAD</code> 在这里是为了固定对照实验版本，不是要修改历史。</p>
<p>GPU 在 WSL 中已经可见：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">NVIDIA GeForce RTX 4070 Ti
</span></span><span class="line"><span class="cl">显存：12282 MiB
</span></span><span class="line"><span class="cl">CUDA UMD Version：13.3
</span></span></code></pre></div><p>PyTorch 检查结果：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">torch = 2.14.1+cu130
</span></span><span class="line"><span class="cl">cuda_available = True
</span></span><span class="line"><span class="cl">gpu = NVIDIA GeForce RTX 4070 Ti
</span></span><span class="line"><span class="cl">torch_cuda = 13.0
</span></span></code></pre></div><h2 id="四同步同一份-token-数据">四、同步同一份 token 数据</h2>
<p>由于 <code>data/</code> 不进入 Git，Windows 需要单独获得 token store。</p>
<p>从 Mac 通过 SCP 复制到 Windows 用户目录，再进入 WSL 项目：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">scp -r /Users/lv/lv_repo/squid-llms/data/token_store <span class="se">\
</span></span></span><span class="line"><span class="cl">  lv@192.168.3.8:token_store
</span></span></code></pre></div><p>Ubuntu 中：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">mkdir -p ~/lv_repo/squid-llms/data/token_store
</span></span><span class="line"><span class="cl">
</span></span><span class="line"><span class="cl">cp -r /mnt/c/Users/lv/token_store/. <span class="se">\
</span></span></span><span class="line"><span class="cl">  ~/lv_repo/squid-llms/data/token_store/
</span></span></code></pre></div><p>最终文件：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">train.uint32.bin    约 461 KiB
</span></span><span class="line"><span class="cl">heldout.uint32.bin  约 22 KiB
</span></span><span class="line"><span class="cl">metadata.json       约 17 KiB
</span></span></code></pre></div><p>文件大小也与 token 数一致：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">train：117890 × 4 = 471560 bytes
</span></span><span class="line"><span class="cl">heldout：5485 × 4 = 21940 bytes
</span></span></code></pre></div><p>这样，Mac 与 Windows 使用的就是同一份代码、同一套 Python/依赖版本和同一份 token 数据。</p>
<h2 id="五第一次-compile-失败缺少-c-编译器">五、第一次 compile 失败：缺少 C 编译器</h2>
<p>环境探针中，FP16、BF16、autocast 和 SDPA 都通过，只有 <code>torch.compile</code> 报错：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">Failed to find C compiler
</span></span></code></pre></div><p>这说明 <code>torch.compile</code> 在当前 Linux 环境中需要调用系统编译器，而 Ubuntu 初始环境没有完整开发工具链。</p>
<p>安装：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">sudo apt update
</span></span><span class="line"><span class="cl">sudo apt install -y build-essential
</span></span></code></pre></div><p>安装后确认：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">gcc (Ubuntu 13.3.0-6ubuntu2~24.04.1) 13.3.0
</span></span></code></pre></div><p>但再次运行时，错误变成了：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">SubprocPool unclean exit
</span></span><span class="line"><span class="cl">Attempting to use a closed pool
</span></span></code></pre></div><p>这说明问题已经从“找不到编译器”变成了“编译 worker 进程池崩溃”。</p>
<h2 id="六先绕过再抓真正的子进程错误">六、先绕过，再抓真正的子进程错误</h2>
<p>为了判断编译器和 CUDA 是否可用，先使用单线程编译：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl"><span class="nv">TORCHINDUCTOR_COMPILE_THREADS</span><span class="o">=</span><span class="m">1</span> uv run python - <span class="s">&lt;&lt;&#39;PY&#39;
</span></span></span><span class="line"><span class="cl"><span class="s">import torch
</span></span></span><span class="line"><span class="cl"><span class="s">
</span></span></span><span class="line"><span class="cl"><span class="s">
</span></span></span><span class="line"><span class="cl"><span class="s">def function(x):
</span></span></span><span class="line"><span class="cl"><span class="s">    return x * 2 + 1
</span></span></span><span class="line"><span class="cl"><span class="s">
</span></span></span><span class="line"><span class="cl"><span class="s">
</span></span></span><span class="line"><span class="cl"><span class="s">compiled = torch.compile(function)
</span></span></span><span class="line"><span class="cl"><span class="s">result = compiled(torch.tensor([1.0, 2.0], device=&#34;cuda&#34;))
</span></span></span><span class="line"><span class="cl"><span class="s">print(result)
</span></span></span><span class="line"><span class="cl"><span class="s">PY</span>
</span></span></code></pre></div><p>结果：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">tensor([3., 5.], device=&#39;cuda:0&#39;)
</span></span></code></pre></div><p>这证明：</p>
<ul>
<li><code>torch.compile</code> 本身可用；</li>
<li>GCC 可以参与编译；</li>
<li>生成的 kernel 能在 CUDA 上正确执行；</li>
<li>问题主要集中在并行编译 worker，而不是模型代码或基本 CUDA 计算。</li>
</ul>
<p>但这只是 workaround，不是根因修复。</p>
<h3 id="打开-worker-日志">打开 worker 日志</h3>
<p>随后不关闭并行编译，而是打开 worker 日志：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl"><span class="nv">TORCHINDUCTOR_WORKER_SUPPRESS_LOGGING</span><span class="o">=</span><span class="m">0</span> <span class="se">\
</span></span></span><span class="line"><span class="cl"><span class="nv">TORCHINDUCTOR_WORKER_LOGPATH</span><span class="o">=</span>/tmp/inductor-worker.log <span class="se">\
</span></span></span><span class="line"><span class="cl">uv run python - <span class="s">&lt;&lt;&#39;PY&#39;
</span></span></span><span class="line"><span class="cl"><span class="s">import torch
</span></span></span><span class="line"><span class="cl"><span class="s">
</span></span></span><span class="line"><span class="cl"><span class="s">
</span></span></span><span class="line"><span class="cl"><span class="s">def function(x):
</span></span></span><span class="line"><span class="cl"><span class="s">    return x * 2 + 1
</span></span></span><span class="line"><span class="cl"><span class="s">
</span></span></span><span class="line"><span class="cl"><span class="s">
</span></span></span><span class="line"><span class="cl"><span class="s">compiled = torch.compile(function)
</span></span></span><span class="line"><span class="cl"><span class="s">result = compiled(torch.tensor([1.0, 2.0], device=&#34;cuda&#34;))
</span></span></span><span class="line"><span class="cl"><span class="s">print(result)
</span></span></span><span class="line"><span class="cl"><span class="s">PY</span>
</span></span></code></pre></div><p>主进程仍然只显示 <code>closed pool</code>，但 worker 日志终于暴露了第一现场：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">File &#34;.../.venv/lib/python3.12/site-packages/typing.py&#34;
</span></span><span class="line"><span class="cl">AttributeError: type object &#39;Callable&#39; has no attribute &#39;_abc_registry&#39;
</span></span></code></pre></div><p>也就是说，编译 worker 不是死在了 CUDA 或模型计算上，而是<strong>在启动后导入 <code>typing</code> 时就崩溃了</strong>。</p>
<h2 id="七真正根因旧-typing-包遮蔽了标准库">七、真正根因：旧 typing 包遮蔽了标准库</h2>
<p>Python 3.12 自带标准库 <code>typing</code>，但虚拟环境中还存在：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">.venv/lib/python3.12/site-packages/typing.py
</span></span></code></pre></div><p>这是额外安装的旧版 <code>typing 3.10.0.0</code>，与当前 Python 标准库不兼容。</p>
<p>主进程里检查：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">uv pip show typing
</span></span></code></pre></div><p>输出：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">Name: typing
</span></span><span class="line"><span class="cl">Version: 3.10.0.0
</span></span><span class="line"><span class="cl">Required-by: pyloco
</span></span></code></pre></div><p>继续沿 lockfile 追踪，得到完整依赖链：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">squid-llms
</span></span><span class="line"><span class="cl">→ matplot
</span></span><span class="line"><span class="cl">→ pyloco
</span></span><span class="line"><span class="cl">→ typing 3.10.0.0
</span></span></code></pre></div><p>而项目中实际使用的是 <code>matplotlib</code>，没有代码直接 import <code>matplot</code>。</p>
<p>因此正确修复不是单独删掉 <code>typing</code>，而是：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">uv add matplotlib
</span></span><span class="line"><span class="cl">uv remove matplot
</span></span></code></pre></div><p>这样：</p>
<ul>
<li>把真正使用的 <code>matplotlib</code> 提升为直接依赖；</li>
<li>移除不需要的 <code>matplot</code>；</li>
<li>同时移除 <code>pyloco</code> 和旧 <code>typing</code> 这条依赖链；</li>
<li><code>pyproject.toml</code> 与 <code>uv.lock</code> 同步更新，避免下次 <code>uv sync</code> 又装回来。</li>
</ul>
<p>修复后：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">uv pip show typing
</span></span><span class="line"><span class="cl">→ Package(s) not found for: typing
</span></span></code></pre></div><p>再次运行正常并行编译，不再设置 <code>TORCHINDUCTOR_COMPILE_THREADS=1</code>：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">tensor([3., 5.], device=&#39;cuda:0&#39;)
</span></span></code></pre></div><p>这次才真正解决了根因。</p>
<h2 id="八今天学到的不只是安装环境">八、今天学到的不只是安装环境</h2>
<p>这次排障有几个值得长期保留的经验：</p>
<h3 id="1-主进程错误不一定是真正根因">1. 主进程错误不一定是真正根因</h3>
<p><code>closed pool</code> 只说明池关闭了，<code>SubprocPool unclean exit</code> 只说明子进程异常退出。真正原因需要打开 worker 日志。</p>
<h3 id="2-不要第一时间把问题归因于-cuda-版本">2. 不要第一时间把问题归因于 CUDA 版本</h3>
<p>单线程编译和 CUDA 执行已经成功，说明基本计算链路可用。继续沿子进程启动、导入和依赖路径排查，比盲目更换 CUDA 更有效。</p>
<h3 id="3-多余依赖也可能破坏运行时">3. 多余依赖也可能破坏运行时</h3>
<p>这次不是缺依赖，而是<strong>多了一个旧依赖</strong>。它遮蔽了 Python 标准库，导致完全不相关的编译 worker 启动失败。</p>
<h3 id="4-修复要落到依赖清单">4. 修复要落到依赖清单</h3>
<p>只在当前环境里卸载一个包还不够。需要更新 <code>pyproject.toml</code> 和 <code>uv.lock</code>，否则下一次同步环境时问题会重新出现。</p>
<h3 id="5-这套环境是后续主线的基础设施">5. 这套环境是后续主线的基础设施</h3>
<p>它不仅服务今天的 I2 番外，也会服务：</p>
<ul>
<li>CUDA 下的 AMP / SDPA / compile / checkpointing 对照；</li>
<li>I3 的推理、量化与 Serving；</li>
<li>第三阶段的 GPU、算子、分布式和 DeepInfer 学习。</li>
</ul>
<h2 id="九统一-cuda-的计时与显存口径">九、统一 CUDA 的计时与显存口径</h2>
<p>正式实验前，补齐了 CUDA 的同步计时和显存记录。GPU 操作是异步提交的，只记录 Python 调用的返回时间，可能并没有包含实际计算时间；因此正式测量前后需要同步设备，并在正式测量前重置峰值显存统计。</p>
<p>各训练脚本现在通过公共设备逻辑记录：</p>
<ul>
<li><code>current_allocated</code>：当前仍由张量占用的显存；</li>
<li><code>peak_allocated</code>：测量期间张量实际分配显存的峰值；</li>
<li><code>current_reserved</code>：当前 PyTorch 缓存分配器向 CUDA 预留的显存；</li>
<li><code>peak_reserved</code>：测量期间缓存分配器预留显存的峰值。</li>
</ul>
<p><code>allocated</code> 更接近实际张量占用，<code>reserved</code> 还包含缓存分配器为复用而保留的空间。两者不能混为一谈。本次表格保留原始 bytes，同时用 <code>bytes ÷ 1,048,576</code> 换算为 MiB，便于阅读。</p>
<h2 id="十正式-cuda-对照结果">十、正式 CUDA 对照结果</h2>
<h3 id="测量条件">测量条件</h3>
<ul>
<li>硬件：RTX 4070 Ti，约 12 GB 显存；</li>
<li>软件：Windows + WSL2 / Ubuntu 24.04，Python 3.12.12，PyTorch 2.14.1+cu130；</li>
<li>模型：2 层，<code>emb_dim=64</code>，<code>ffn_dim=256</code>，4 个 Q heads、2 个 KV heads，词表 151936；</li>
<li>数据与配置：与 Mac 使用同一份 token store，<code>batch_size=2</code>，<code>context_length=128</code>；</li>
<li>计时：2 步 warmup，随后 10 步正式测量，共处理 2560 个 token；</li>
<li>每个实验独立运行 3 次，吞吐取中位数；</li>
<li>compile 的首次图捕获、代码生成和编译发生在 warmup 中，不计入下面的稳态吞吐。</li>
</ul>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th>实验</th>
        <th style="text-align: right">吞吐中位数（tokens/s）</th>
        <th style="text-align: right">峰值分配</th>
        <th style="text-align: right">峰值预留</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td>FP32 / eager</td>
        <td style="text-align: right">21614.87</td>
        <td style="text-align: right">691.67 MiB</td>
        <td style="text-align: right">854 MiB</td>
      </tr>
      <tr>
        <td>BF16 / AMP</td>
        <td style="text-align: right">22002.51</td>
        <td style="text-align: right">635.55 MiB</td>
        <td style="text-align: right">876 MiB</td>
      </tr>
      <tr>
        <td>FP16 / AMP</td>
        <td style="text-align: right">20954.75</td>
        <td style="text-align: right">635.55 MiB</td>
        <td style="text-align: right">876 MiB</td>
      </tr>
      <tr>
        <td>SDPA + FP32</td>
        <td style="text-align: right">21588.02</td>
        <td style="text-align: right">690.81 MiB</td>
        <td style="text-align: right">852 MiB</td>
      </tr>
      <tr>
        <td>compile + FP32</td>
        <td style="text-align: right">25346.90</td>
        <td style="text-align: right">690.85 MiB</td>
        <td style="text-align: right">首轮 778 MiB，后两轮 852 MiB</td>
      </tr>
      <tr>
        <td>checkpointing + FP32</td>
        <td style="text-align: right">17140.50</td>
        <td style="text-align: right">687.53 MiB</td>
        <td style="text-align: right">852 MiB</td>
      </tr>
    </tbody>
  </table>
</div>
<p>这里的显存数字取三轮正式测量后报告中的峰值。compile 的峰值预留首轮为 <code>815792128 bytes</code>（778 MiB），后两轮为 <code>893386752 bytes</code>（852 MiB），因此保留波动，不选其中一个数字冒充固定结果。</p>
<h3 id="1-bf16小幅提速但两种显存指标方向不同">1. BF16：小幅提速，但两种显存指标方向不同</h3>
<p>相对 FP32 / eager：</p>
<ul>
<li>吞吐中位数提高约 <strong>1.79%</strong>；</li>
<li>峰值分配减少 <strong>56.12 MiB</strong>，约 <strong>8.11%</strong>；</li>
<li>峰值预留却增加 <strong>22 MiB</strong>，约 <strong>2.58%</strong>。</li>
</ul>
<p>所以准确结论是：当前配置下 BF16 有小幅吞吐收益，实际张量峰值分配有所下降，但缓存分配器的峰值预留没有同步下降。不能笼统写成“全面节省显存”。</p>
<p>FP16 的吞吐中位数比 FP32 低约 3.05%，比 BF16 低约 4.76%。这组结果只代表当前小模型、短序列和测量配置，不代表其他 GPU 或大模型上 FP16 一定慢于 BF16。</p>
<h3 id="2-sdpa本次基本持平">2. SDPA：本次基本持平</h3>
<p>SDPA + FP32 相对 eager + FP32：</p>
<ul>
<li>吞吐变化约 <strong>-0.12%</strong>，基本持平；</li>
<li>峰值分配减少约 <strong>0.87 MiB</strong>；</li>
<li>峰值预留减少 <strong>2 MiB</strong>。</li>
</ul>
<p>这只能说明当前模型和上下文长度下，替换注意力实现没有带来明显差异。这里只验证了代码调用 SDPA，<strong>没有确认实际落入 FlashAttention kernel</strong>，也不能据此推断长序列下的收益。</p>
<h3 id="3-compile当前最明显的吞吐收益">3. compile：当前最明显的吞吐收益</h3>
<p>compile + FP32 相对 eager + FP32：</p>
<ul>
<li>三轮吞吐为 25369.12 / 25346.90 / 24348.93 tokens/s；</li>
<li>中位数提高约 <strong>17.27%</strong>；</li>
<li>峰值分配约 690.85 MiB，与 FP32 的 691.67 MiB 基本持平。</li>
</ul>
<p>因此当前收益应写成<strong>吞吐提升</strong>，不能附带宣称 compile 节省了显存。预热后三轮的峰值预留存在 778 / 852 MiB 的波动，也提醒我们不能只看某一轮。</p>
<p>首轮出现的 <code>Not enough SMs to use max_autotune_gemm mode</code> 表示当前设备未启用相应的 GEMM 自动调优路径，不是编译失败；实际编译和后续 CUDA 执行均已成功。</p>
<h3 id="4-checkpointing降速明显当前显存收益很小">4. checkpointing：降速明显，当前显存收益很小</h3>
<p>checkpointing + FP32 相对 FP32 / eager：</p>
<ul>
<li>三轮吞吐为 19454.24 / 17140.50 / 17051.76 tokens/s；</li>
<li>中位数从 21614.87 降至 17140.50，下降约 <strong>20.70%</strong>；</li>
<li>峰值分配从 691.67 MiB 降至 687.53 MiB，只减少 <strong>4.14 MiB / 0.60%</strong>；</li>
<li>峰值预留两边均为 852 MiB。</li>
</ul>
<p>首轮吞吐较高，因此这里用三轮中位数而不是只取最好的一次。当前小模型上，额外重算带来了明显吞吐损失，却只换来很小的峰值分配下降。</p>
<p>这不否定 checkpointing 的价值。它本来就是用额外计算换取激活显存，只是当前小模型并没有显存瓶颈，交易不划算。是否值得开启，要在更大模型、更长上下文或接近 OOM 的配置下重新测量。</p>
<h2 id="十一mac--mps-与-windows--cuda-并列观察">十一、Mac / MPS 与 Windows / CUDA 并列观察</h2>
<p>下表只并列两边已有的三轮吞吐中位数，不把跨硬件差异归因于某一个单独优化：</p>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th>实验</th>
        <th style="text-align: right">Mac / MPS（tokens/s）</th>
        <th style="text-align: right">Windows / CUDA（tokens/s）</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td>FP32 / eager</td>
        <td style="text-align: right">11001.65</td>
        <td style="text-align: right">21614.87</td>
      </tr>
      <tr>
        <td>BF16 / AMP</td>
        <td style="text-align: right">9942.47</td>
        <td style="text-align: right">22002.51</td>
      </tr>
      <tr>
        <td>FP16 / AMP</td>
        <td style="text-align: right">9892.09</td>
        <td style="text-align: right">20954.75</td>
      </tr>
      <tr>
        <td>SDPA + FP32</td>
        <td style="text-align: right">10613.57</td>
        <td style="text-align: right">21588.02</td>
      </tr>
      <tr>
        <td>compile + FP32</td>
        <td style="text-align: right">11801.10</td>
        <td style="text-align: right">25346.90</td>
      </tr>
      <tr>
        <td>checkpointing + FP32</td>
        <td style="text-align: right">10714.24</td>
        <td style="text-align: right">17140.50</td>
      </tr>
    </tbody>
  </table>
</div>
<p>两个值得带走的观察：</p>
<ul>
<li>compile 在 Mac / MPS 上相对 FP32 提高约 <strong>7.27%</strong>，在本次 CUDA 上提高约 <strong>17.27%</strong>。两种设备上都观察到了稳态吞吐收益，但幅度不同。</li>
<li>checkpointing 在两种设备上的收益都不显著。Mac 当时使用同批次、带内存记录的 FP32 基线 11321.03 tokens/s 对照，不能把其他批次的 FP32 中位数混入计算；当时也没有与本次 CUDA 完全相同的峰值显存接口，因此不伪造跨设备的峰值显存对照。</li>
</ul>
<p>这些数字不是硬件排行榜。两台机器的模型规模都很小，测量只有 10 个正式 step，编译成本也没有摊入稳态吞吐。它们回答的是“同一学习项目在当前两台设备上观察到了什么”，不是普遍性能定律。</p>
<h2 id="十二最终验收与边界">十二、最终验收与边界</h2>
<p>已经真实完成：</p>
<ul>
<li>Mac 通过 SSH 操作 Windows，Windows + WSL2 / Ubuntu 环境可用；</li>
<li>RTX 4070 Ti 在 Ubuntu 和 PyTorch CUDA 中可见；</li>
<li>代码、Python 3.12.12、依赖与 token 数据已同步；</li>
<li><code>torch.compile</code> 从缺编译器到 worker 崩溃再到依赖根因修复；</li>
<li>修复后的环境探针通过，FP16 / BF16、autocast、SDPA 和 compile 均可用；</li>
<li>正常并行 compile 不再依赖单线程 workaround；</li>
<li>FP32 / FP16 / BF16 / SDPA / compile / checkpointing 的 CUDA 三轮对照已完成；</li>
<li>CUDA 同步计时和显存记录已补齐，Mac 上绘图验证正常。</li>
</ul>
<p>尚未覆盖：</p>
<ul>
<li>其他 GPU、更大模型、更长上下文或更大 batch；</li>
<li>SDPA 实际选择的具体 attention backend；</li>
<li>把 compile 的首次编译成本摊入完整训练任务后的收益；</li>
<li>MFU，以及 GPT-2 / model_v3 的额外吞吐对照；</li>
<li>接近显存上限时 checkpointing 能否避免 OOM。</li>
</ul>
<p>所以这篇番外最终交付的是：<strong>一套可复用的 Windows / CUDA 环境、一次有明确根因的依赖排障，以及一组保留测量边界的 MPS / CUDA 对照结果。</strong></p>
]]></content:encoded>
    </item>
  </channel>
</rss>
