通过雷电网桥连接三台 Mac（m1p/m2/m4）测试 Exo cluster 运行 Qwen 2.5 Coder 32B 结果
huaweigg 2024-12-13 00:42:27 +08:00 2106 次点击这是一个创建于 372 天前的主题，其中的信息可能已经有所发展或是发生改变。
测机型:
- m1pro 16G(14cu)
- m2 8G(10cu)
- m4 16G(10cu)
测试模型为 Qwen 2.5 Coder 32B
测试结果
- 三台单独都无法运行起来。当 m2 和 m4 通过雷电 4 互相连接时也无法运行。
- 当 m1pro 和 m4 通过雷电 4 互相连接时，速度为 5 tokens/s
- 当三台设备通过雷电 4 互相连接时，速度为 8 tokens/s
崩溃概率蛮大的，测试三次，两次 m2 机器上 python 进程 OOM 被干掉。 
第 1 条附言 358 天前
时延是 0.4ms
 | 1 phrack 2024-12-13 02:43:55 +08:00 挺有意思的，之前也偶然见过这个项目不过没试过。如果不用雷电就是普通的以太网速度怎么样？ |
 | 2 huaweigg OP  1 @phrack 千兆比雷电网桥慢，感觉瓶颈在通讯时延，千兆延时在 1000ms ，雷电网桥才 400ms ，通讯数据带宽也就几百 kbps 。万兆没有条件测，据 https://x.com/alexocheema/status/1855242039501128144/photo/1 比雷电 4 还快一些。 |
 | 3 Livid MOD PRO 1 提供一个参考数据点。 2021 MBP M1 Max 64G  |
| 4 Livid MOD PRO 1 RTX Ada 6000 x 2  |
| 5 Livid MOD PRO 所以理论上，M2 或者接下来的 M4 的 Ultra 版本，在运行 LLM 的时候差不多可以有 4 系卡的算力。 |
 | 6 mortal 357 天前 prompt process 是不是仍然很慢？ |
Select Language