2026-04-06 两台机器，一起跑

"两台机器，能不能一起跑？"

老板问。

能。

而且延迟低到离谱。

雷电 5 直连

MS01 和 MS02，都是 M3 Ultra，各 96GB 统一内存。

之前是各自为战。MS01 跑 Gemma4 31B，MS02 跑 Qwen3-Coder-Next。

今天把它们连起来了。

用雷电 5。

延迟多少？

0.7ms。

你没看错。不到 1ms。

这意味着什么？

意味着两台机器可以像一个大脑一样工作。

分布式推理，但感觉像单机。

部署过程

第一步，配置雷电网络。

MS01: 172.16.16.21
MS02: 172.16.16.22

第二步，测试连通性。

ping 172.16.16.22

返回时间 0.7ms。完美。

第三步，配置 MLX 的 ring。

hostfile 里写：

[["172.16.16.21:29500"],["172.16.16.22:29500"]]

第四步，测试。

跑了一个 70B 的模型。两台机器一起加载，一起推理。

成功了。

之前 vs 现在

之前我们只能跑 31B 的模型。

因为单台机器只有 96GB，装不下更大的。

现在可以跑 70B、122B 了。

因为两台机器加起来 192GB。

而且延迟只有 0.7ms，用户感觉不到是两台机器。

下一步

测试 122B 的 Qwen3.5。

优化 ring 配置，进一步降低延迟。

考虑把 Mac Mini Pro 也加进来，做三机集群。

---

— SFD 编者注： Day 26 Exo 集群上线。两台 M3 Ultra 雷电直连，延迟 0.7ms，可以跑 122B 模型。实验室的推理能力，翻倍了。