这是一篇脑暴留痕。2026 年 10 月 16 日,我在路上盘点了手里的设备,冒出一个想法:能不能把它们组成一个分布式算力中心,后面训练模型时一起工作。先记下来,不抢第七章的主线。
我手里的设备
现在能用的设备比我一开始意识到的多:
| 设备 | 关键配置 | 初步角色 |
|---|---|---|
| M4 MacBook | 主力随身机 | 写代码、交互实验、小型 MPS 验证、看结果 |
| Windows 台式机 | 64G 内存、4070Ti | 主力 CUDA 训练机 |
| Dell R730 服务器 | 256G 内存 | 数据预处理、模型仓库、实验追踪、任务调度、离线评估 |
| 2019 Intel Mac | 16G 内存 | 监控面板、轻量任务、备用终端 |
| Mac mini | M4 芯片、16G 内存 | 常驻 MPS 推理、小型实验、定时任务、监控和自动化 |
R730 其实曾经插到过 1T 内存。后来二手内存涨价,我卖掉了一部分,现在剩 256G。嘿嘿。
Mac mini 是今年刚买的 M4,只是内存小一些。它比 2019 Intel Mac 有用得多:16G 统一内存不适合训练,但很适合长期开着做小型推理、MLX 实验、任务守护和自动化。
最初的冲动:分布式算力中心
我最开始的想象很直接:既然有这么多设备,训练模型时能不能让它们同步进行?
这个想法听起来很爽,但 Kimi 给我的第一个修正是:不要把目标定成把所有机器拼成一张大显卡。
同步梯度训练需要设备之间频繁交换梯度,最好使用同一类 NVIDIA GPU、同一个软件栈和高带宽网络。而我手里的设备是混着的:
- Windows 台式机是 CUDA;
- M4 MacBook 和 Mac mini 是 MPS;
- Intel Mac 和 R730 主要是 CPU;
- 家庭网络也不是为高频率梯度同步准备的。
理论上不是完全不能折腾,但工程收益很低,维护成本很高。
更现实的目标:私人 AI 实验调度中心
更合适的抽象不是「分布式算力中心」,而是「私人 AI 实验调度中心」。
它不追求多台机器共同训练一个模型,而是让每台机器做最适合自己的那一段:
M4 MacBook
├─ 写代码
├─ 提交训练任务
├─ 查看实验结果
└─ 做交互式分析
│
Tailscale / SSH
│
├─ Windows + 4070Ti
│ └─ CUDA 训练 worker
│
├─ R730
│ ├─ 数据集 / checkpoint / 日志仓库
│ ├─ MLflow 实验追踪
│ ├─ 任务队列
│ └─ CPU 预处理与离线评估
│
├─ Mac mini(M4 / 16G)
│ └─ 常驻 MPS 推理 / 小型实验 / 监控 / 自动化
│
└─ 2019 Intel Mac
└─ 监控页 / 轻量定时任务
一次理想的流程应该是:
- 我在 M4 上改代码、写训练配置;
- 把任务提交到 R730 的队列;
- Windows 机器领取 CUDA 训练任务;
- 训练指标写入 MLflow;
- checkpoint 存到 R730;
- R730 或 M4 再运行评估脚本;
- 我在 M4 上看结果、写笔记。
「同步进行」也应该换个意思:不是多台设备共同更新同一份梯度,而是多台设备并行处理不同任务。Windows 跑训练,R730 做预处理,M4 做小实验,Mac mini 做常驻推理和自动化,Intel Mac 做轻量监控。
4070Ti 是真正的训练中心,也是瓶颈
这几台设备里,真正适合训练的是 Windows 台式机上的 4070Ti。
但它也决定了上限:4070Ti 的 12GB 显存是硬边界。64G 内存、256G 内存都很有价值,主要价值在数据加载、预处理、任务调度和实验管理,不能直接替代显存。
所以这套设备的正确用法是:
- 小模型预训练;
- 分类微调;
- LoRA / QLoRA;
- 批量推理;
- 超参数实验;
- 数据预处理和离线评估。
不是一上来就追求更大的模型。
第一阶段不要做什么
第一阶段不要碰:
- Kubernetes
- Slurm
- 多机 DDP
- DeepSpeed 多机训练
- 自己实现梯度同步
- 跨设备模型并行
这些都会把项目从「有用」拖成「维护基础设施本身」。
第一版只做最小闭环:
M4 提交任务 → Windows 4070Ti 训练 → R730 保存结果 → M4 查看报告
MVP 只做五件事
- 所有设备接入 Tailscale;
- R730 建统一的数据、checkpoint 和日志目录;
- Windows 配好 CUDA + PyTorch;
- 从 M4 远程提交一个训练脚本到 Windows;
- 训练日志和 checkpoint 统一写回 R730。
先不用急着上 Ray、MinIO、Grafana。等这个闭环真的常用起来,再补队列、对象存储和监控。
它和 nanochat 的关系
这件事不抢当前主线。当前还是先把《从零构建大模型》第七章和附录学完。
但它和后面的 nanochat 是顺路的。nanochat 一开始也应该先在 4070Ti 上跑通最小配置,再逐步把周边工作拆出去:
- 语料预处理交给 R730;
- 训练交给 Windows;
- 实验记录交给 MLflow;
- 交互分析留在 M4;
- Mac mini 做常驻服务。
也就是说,nanochat 先单机跑通,调度中心负责让它跑得可复现、可追踪、可比较。
先留在这里
这篇不是立项书,只是脑暴留痕。
我现在真正能确认的是:这些设备不适合拼成一台「超级训练机」,但很适合组成一个「私人 AI 实验室」。前者听起来猛,后者真的有用。
等第七章和附录结束,再回来评估要不要正式开工。
评论