这是一篇脑暴留痕。2026 年 10 月 16 日,我在路上盘点了手里的设备,冒出一个想法:能不能把它们组成一个分布式算力中心,后面训练模型时一起工作。先记下来,不抢第七章的主线。

我手里的设备

现在能用的设备比我一开始意识到的多:

设备 关键配置 初步角色
M4 MacBook 主力随身机 写代码、交互实验、小型 MPS 验证、看结果
Windows 台式机 64G 内存、4070Ti 主力 CUDA 训练机
Dell R730 服务器 256G 内存 数据预处理、模型仓库、实验追踪、任务调度、离线评估
2019 Intel Mac 16G 内存 监控面板、轻量任务、备用终端
Mac mini M4 芯片、16G 内存 常驻 MPS 推理、小型实验、定时任务、监控和自动化

R730 其实曾经插到过 1T 内存。后来二手内存涨价,我卖掉了一部分,现在剩 256G。嘿嘿。

Mac mini 是今年刚买的 M4,只是内存小一些。它比 2019 Intel Mac 有用得多:16G 统一内存不适合训练,但很适合长期开着做小型推理、MLX 实验、任务守护和自动化。

最初的冲动:分布式算力中心

我最开始的想象很直接:既然有这么多设备,训练模型时能不能让它们同步进行?

这个想法听起来很爽,但 Kimi 给我的第一个修正是:不要把目标定成把所有机器拼成一张大显卡。

同步梯度训练需要设备之间频繁交换梯度,最好使用同一类 NVIDIA GPU、同一个软件栈和高带宽网络。而我手里的设备是混着的:

  • Windows 台式机是 CUDA;
  • M4 MacBook 和 Mac mini 是 MPS;
  • Intel Mac 和 R730 主要是 CPU;
  • 家庭网络也不是为高频率梯度同步准备的。

理论上不是完全不能折腾,但工程收益很低,维护成本很高。

更现实的目标:私人 AI 实验调度中心

更合适的抽象不是「分布式算力中心」,而是「私人 AI 实验调度中心」。

它不追求多台机器共同训练一个模型,而是让每台机器做最适合自己的那一段:

M4 MacBook
  ├─ 写代码
  ├─ 提交训练任务
  ├─ 查看实验结果
  └─ 做交互式分析
        │
     Tailscale / SSH
        │
        ├─ Windows + 4070Ti
        │    └─ CUDA 训练 worker
        │
        ├─ R730
        │    ├─ 数据集 / checkpoint / 日志仓库
        │    ├─ MLflow 实验追踪
        │    ├─ 任务队列
        │    └─ CPU 预处理与离线评估
        │
        ├─ Mac mini(M4 / 16G)
        │    └─ 常驻 MPS 推理 / 小型实验 / 监控 / 自动化
        │
        └─ 2019 Intel Mac
             └─ 监控页 / 轻量定时任务

一次理想的流程应该是:

  1. 我在 M4 上改代码、写训练配置;
  2. 把任务提交到 R730 的队列;
  3. Windows 机器领取 CUDA 训练任务;
  4. 训练指标写入 MLflow;
  5. checkpoint 存到 R730;
  6. R730 或 M4 再运行评估脚本;
  7. 我在 M4 上看结果、写笔记。

「同步进行」也应该换个意思:不是多台设备共同更新同一份梯度,而是多台设备并行处理不同任务。Windows 跑训练,R730 做预处理,M4 做小实验,Mac mini 做常驻推理和自动化,Intel Mac 做轻量监控。

4070Ti 是真正的训练中心,也是瓶颈

这几台设备里,真正适合训练的是 Windows 台式机上的 4070Ti。

但它也决定了上限:4070Ti 的 12GB 显存是硬边界。64G 内存、256G 内存都很有价值,主要价值在数据加载、预处理、任务调度和实验管理,不能直接替代显存。

所以这套设备的正确用法是:

  • 小模型预训练;
  • 分类微调;
  • LoRA / QLoRA;
  • 批量推理;
  • 超参数实验;
  • 数据预处理和离线评估。

不是一上来就追求更大的模型。

第一阶段不要做什么

第一阶段不要碰:

  • Kubernetes
  • Slurm
  • 多机 DDP
  • DeepSpeed 多机训练
  • 自己实现梯度同步
  • 跨设备模型并行

这些都会把项目从「有用」拖成「维护基础设施本身」。

第一版只做最小闭环:

M4 提交任务 → Windows 4070Ti 训练 → R730 保存结果 → M4 查看报告

MVP 只做五件事

  1. 所有设备接入 Tailscale;
  2. R730 建统一的数据、checkpoint 和日志目录;
  3. Windows 配好 CUDA + PyTorch;
  4. 从 M4 远程提交一个训练脚本到 Windows;
  5. 训练日志和 checkpoint 统一写回 R730。

先不用急着上 Ray、MinIO、Grafana。等这个闭环真的常用起来,再补队列、对象存储和监控。

它和 nanochat 的关系

这件事不抢当前主线。当前还是先把《从零构建大模型》第七章和附录学完。

但它和后面的 nanochat 是顺路的。nanochat 一开始也应该先在 4070Ti 上跑通最小配置,再逐步把周边工作拆出去:

  • 语料预处理交给 R730;
  • 训练交给 Windows;
  • 实验记录交给 MLflow;
  • 交互分析留在 M4;
  • Mac mini 做常驻服务。

也就是说,nanochat 先单机跑通,调度中心负责让它跑得可复现、可追踪、可比较。

先留在这里

这篇不是立项书,只是脑暴留痕。

我现在真正能确认的是:这些设备不适合拼成一台「超级训练机」,但很适合组成一个「私人 AI 实验室」。前者听起来猛,后者真的有用。

等第七章和附录结束,再回来评估要不要正式开工。