
现在用 2020 款初代 M1 处理器的 MacBook pro ,算了下也 5 年了,虽然还能用,但是距离苹果的更新日期也只有一两年时间了。 想换一台新的 mac 。
如果普通的日常开发的话,选择最新的 m5 处理器的 MacBook pro 32G+1T 版本足够我用了。 但是最近两年本地大模型越来越多,范围也越来越广,如果考虑到大模型本地运行,最少可能需要一台 m4 max 处理器的 mac studio 128G+2T 的配置,两者价格直接差了快一倍。
目前有没有在做本地大模型微调等,距离比如用本地大模型写代码以及做一些图片生成、大规模内容处理等事情还有多远,是否值得为后面的四五年准备上一台高配的 mac ?
1 wu67 2 天前 我就这么说, 你加钱买高配的钱+高功率跑模型产生的电费, 砍下来买标配硬件, 然后去开各种 AI 的会员, 够你爽玩好几年 |
2 oed 2 天前 搞成人内容有用。 |
3 elevioux 2 天前 除了隐私或 NSFW 内容可能需要,其它情况不如买 API 了。 |
4 beefhotpot 2 天前 主要现在大模型更新换代很快,要本地跑效果很好的模型,你上面提到的设备也跑不动,最多跑个量化版,也没什么意思 |
5 HENQIGUAI 2 天前 有预算可以买,一般 64G 其实就够了,64G 不够的话再大的话就得 128G 也可能不够。 |
6 liu731 PRO 4090+96GB RAM 跑不起来 120B ,只能说玩玩。 |
7 adov 2 天前 via Android 现在没有可以搞 nsfw 内容的 api 吗?那看来还是要搞本地啊 |
8 evan1 PRO 搞成人内容有用。 其它没用,不如用免费的 grok 、gemini 之类的。 |
9 Solix 2 天前 本地模型不用 N 卡就是残废,别信说 mac 高配就行了 |
10 maichael 2 天前 个人使用意义不大。 |
11 taozheju 2 天前 NSFW |
12 wyfig OP 按照 v 友们说的,确实本地为了跑大模型搞这个配置意义不大。 我平时开发目前 m1 16GB 的也够用了,感觉升级个 32G 的绰绰有余了。 |
13 Seanfuck 2 天前 没什么意义,玩 2 天就没兴趣了。 想玩可以去线上租个卡玩,几十块就能玩几天。 |
14 fank99 2 天前 没有什么意义,即使有意义,也不是现在这个时间点的 mac 能搞定的 |
15 frayesshi1 PRO 这个时候没得什么意义,但是一旦后面不知道 |
16 hughrover 1 天前 以 16B 尺寸的模型部署推理为例,加载半精度模型权重占用显存 16G (全精度 32G ,此外还有 KV Cache 、激活缓冲区占用的显存),即使是 m4 max 的最高配 128G ,也很难流畅运行超过 100B 尺寸的模型,供楼主参考。 |
17 coefu 1 天前 除了 m3 mac studio ultra 512G,其余都是玩具。如果有钱搞 2 个,并起来搞成 1T ,跑一跑推理 ok 的,其余的定制就得搞 n 卡了。 |
18 jingcoco 1 天前 现在是当备用, 现在免费的 api 太多, 不过私人的东西 还是不用或者本地大模型. |