<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>算力 on 吕炘嵘的博客</title>
    <link>https://blog.lvxinrong.com/tags/%E7%AE%97%E5%8A%9B/</link>
    <description>Recent content in 算力 on 吕炘嵘的博客</description>
    <image>
      <title>吕炘嵘的博客</title>
      <url>https://blog.lvxinrong.com/og-default.jpg</url>
      
      <link>https://blog.lvxinrong.com/tags/%E7%AE%97%E5%8A%9B/</link>
    </image>
    <generator>Hugo</generator>
    <language>zh-CN</language>
    <lastBuildDate>Fri, 16 Oct 2026 16:52:09 +0800</lastBuildDate>
    <atom:link href="https://blog.lvxinrong.com/tags/%E7%AE%97%E5%8A%9B/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>我想把家里的设备，组成一个私人 AI 实验室</title>
      <link>https://blog.lvxinrong.com/ai/ai-private-lab/</link>
      <pubDate>Fri, 16 Oct 2026 16:52:09 +0800</pubDate>
      <guid>https://blog.lvxinrong.com/ai/ai-private-lab/</guid>
      <description>盘点完手里的 Mac、Windows、4070Ti 和物理服务器后，我冒出了一个做分布式算力中心的念头。Kimi 给的第一修正是：别把目标定成拼出一台超级训练机，先做一个私人 AI 实验调度中心。</description>
      <content:encoded><![CDATA[<blockquote>
<p>这是一篇脑暴留痕。2026 年 10 月 16 日，我在路上盘点了手里的设备，冒出一个想法：能不能把它们组成一个分布式算力中心，后面训练模型时一起工作。先记下来，不抢第七章的主线。</p>
</blockquote>
<h2 id="我手里的设备">我手里的设备</h2>
<p>现在能用的设备比我一开始意识到的多：</p>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th>设备</th>
        <th>关键配置</th>
        <th>初步角色</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td>M4 MacBook</td>
        <td>主力随身机</td>
        <td>写代码、交互实验、小型 MPS 验证、看结果</td>
      </tr>
      <tr>
        <td>Windows 台式机</td>
        <td>64G 内存、4070Ti</td>
        <td>主力 CUDA 训练机</td>
      </tr>
      <tr>
        <td>Dell R730 服务器</td>
        <td>256G 内存</td>
        <td>数据预处理、模型仓库、实验追踪、任务调度、离线评估</td>
      </tr>
      <tr>
        <td>2019 Intel Mac</td>
        <td>16G 内存</td>
        <td>监控面板、轻量任务、备用终端</td>
      </tr>
      <tr>
        <td>Mac mini</td>
        <td>M4 芯片、16G 内存</td>
        <td>常驻 MPS 推理、小型实验、定时任务、监控和自动化</td>
      </tr>
    </tbody>
  </table>
</div>
<p>R730 其实曾经插到过 1T 内存。后来二手内存涨价，我卖掉了一部分，现在剩 256G。嘿嘿。</p>
<p>Mac mini 是今年刚买的 M4，只是内存小一些。它比 2019 Intel Mac 有用得多：16G 统一内存不适合训练，但很适合长期开着做小型推理、MLX 实验、任务守护和自动化。</p>
<h2 id="最初的冲动分布式算力中心">最初的冲动：分布式算力中心</h2>
<p>我最开始的想象很直接：既然有这么多设备，训练模型时能不能让它们同步进行？</p>
<p>这个想法听起来很爽，但 Kimi 给我的第一个修正是：<strong>不要把目标定成把所有机器拼成一张大显卡。</strong></p>
<p>同步梯度训练需要设备之间频繁交换梯度，最好使用同一类 NVIDIA GPU、同一个软件栈和高带宽网络。而我手里的设备是混着的：</p>
<ul>
<li>Windows 台式机是 CUDA；</li>
<li>M4 MacBook 和 Mac mini 是 MPS；</li>
<li>Intel Mac 和 R730 主要是 CPU；</li>
<li>家庭网络也不是为高频率梯度同步准备的。</li>
</ul>
<p>理论上不是完全不能折腾，但工程收益很低，维护成本很高。</p>
<h2 id="更现实的目标私人-ai-实验调度中心">更现实的目标：私人 AI 实验调度中心</h2>
<p>更合适的抽象不是「分布式算力中心」，而是「私人 AI 实验调度中心」。</p>
<p>它不追求多台机器共同训练一个模型，而是让每台机器做最适合自己的那一段：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">M4 MacBook
</span></span><span class="line"><span class="cl">  ├─ 写代码
</span></span><span class="line"><span class="cl">  ├─ 提交训练任务
</span></span><span class="line"><span class="cl">  ├─ 查看实验结果
</span></span><span class="line"><span class="cl">  └─ 做交互式分析
</span></span><span class="line"><span class="cl">        │
</span></span><span class="line"><span class="cl">     Tailscale / SSH
</span></span><span class="line"><span class="cl">        │
</span></span><span class="line"><span class="cl">        ├─ Windows + 4070Ti
</span></span><span class="line"><span class="cl">        │    └─ CUDA 训练 worker
</span></span><span class="line"><span class="cl">        │
</span></span><span class="line"><span class="cl">        ├─ R730
</span></span><span class="line"><span class="cl">        │    ├─ 数据集 / checkpoint / 日志仓库
</span></span><span class="line"><span class="cl">        │    ├─ MLflow 实验追踪
</span></span><span class="line"><span class="cl">        │    ├─ 任务队列
</span></span><span class="line"><span class="cl">        │    └─ CPU 预处理与离线评估
</span></span><span class="line"><span class="cl">        │
</span></span><span class="line"><span class="cl">        ├─ Mac mini（M4 / 16G）
</span></span><span class="line"><span class="cl">        │    └─ 常驻 MPS 推理 / 小型实验 / 监控 / 自动化
</span></span><span class="line"><span class="cl">        │
</span></span><span class="line"><span class="cl">        └─ 2019 Intel Mac
</span></span><span class="line"><span class="cl">             └─ 监控页 / 轻量定时任务
</span></span></code></pre></div><p>一次理想的流程应该是：</p>
<ol>
<li>我在 M4 上改代码、写训练配置；</li>
<li>把任务提交到 R730 的队列；</li>
<li>Windows 机器领取 CUDA 训练任务；</li>
<li>训练指标写入 MLflow；</li>
<li>checkpoint 存到 R730；</li>
<li>R730 或 M4 再运行评估脚本；</li>
<li>我在 M4 上看结果、写笔记。</li>
</ol>
<p>「同步进行」也应该换个意思：不是多台设备共同更新同一份梯度，而是多台设备并行处理不同任务。Windows 跑训练，R730 做预处理，M4 做小实验，Mac mini 做常驻推理和自动化，Intel Mac 做轻量监控。</p>
<h2 id="4070ti-是真正的训练中心也是瓶颈">4070Ti 是真正的训练中心，也是瓶颈</h2>
<p>这几台设备里，真正适合训练的是 Windows 台式机上的 4070Ti。</p>
<p>但它也决定了上限：4070Ti 的 12GB 显存是硬边界。64G 内存、256G 内存都很有价值，主要价值在数据加载、预处理、任务调度和实验管理，不能直接替代显存。</p>
<p>所以这套设备的正确用法是：</p>
<ul>
<li>小模型预训练；</li>
<li>分类微调；</li>
<li>LoRA / QLoRA；</li>
<li>批量推理；</li>
<li>超参数实验；</li>
<li>数据预处理和离线评估。</li>
</ul>
<p>不是一上来就追求更大的模型。</p>
<h2 id="第一阶段不要做什么">第一阶段不要做什么</h2>
<p>第一阶段不要碰：</p>
<ul>
<li>Kubernetes</li>
<li>Slurm</li>
<li>多机 DDP</li>
<li>DeepSpeed 多机训练</li>
<li>自己实现梯度同步</li>
<li>跨设备模型并行</li>
</ul>
<p>这些都会把项目从「有用」拖成「维护基础设施本身」。</p>
<p>第一版只做最小闭环：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">M4 提交任务 → Windows 4070Ti 训练 → R730 保存结果 → M4 查看报告
</span></span></code></pre></div><h2 id="mvp-只做五件事">MVP 只做五件事</h2>
<ol>
<li>所有设备接入 Tailscale；</li>
<li>R730 建统一的数据、checkpoint 和日志目录；</li>
<li>Windows 配好 CUDA + PyTorch；</li>
<li>从 M4 远程提交一个训练脚本到 Windows；</li>
<li>训练日志和 checkpoint 统一写回 R730。</li>
</ol>
<p>先不用急着上 Ray、MinIO、Grafana。等这个闭环真的常用起来，再补队列、对象存储和监控。</p>
<h2 id="它和-nanochat-的关系">它和 nanochat 的关系</h2>
<p>这件事不抢当前主线。当前还是先把《从零构建大模型》第七章和附录学完。</p>
<p>但它和后面的 nanochat 是顺路的。nanochat 一开始也应该先在 4070Ti 上跑通最小配置，再逐步把周边工作拆出去：</p>
<ul>
<li>语料预处理交给 R730；</li>
<li>训练交给 Windows；</li>
<li>实验记录交给 MLflow；</li>
<li>交互分析留在 M4；</li>
<li>Mac mini 做常驻服务。</li>
</ul>
<p>也就是说，nanochat 先单机跑通，调度中心负责让它跑得可复现、可追踪、可比较。</p>
<h2 id="先留在这里">先留在这里</h2>
<p>这篇不是立项书，只是脑暴留痕。</p>
<p>我现在真正能确认的是：这些设备不适合拼成一台「超级训练机」，但很适合组成一个「私人 AI 实验室」。前者听起来猛，后者真的有用。</p>
<p>等第七章和附录结束，再回来评估要不要正式开工。</p>
]]></content:encoded>
    </item>
  </channel>
</rss>
