这是一个创建于 320 天前的主题，其中的信息可能已经有所发展或是发生改变。
想在本地跑大模型，macminim4 选 24G 的还是 32G 的？求大佬指点。 怎么买优惠些？目前看好像国补挺便宜，但是抢不到。上半年 apple 有教育补贴不？
 | 1 uprit 320 天前 受限于带宽，丐版 16G 够用了，跑个 7B 嗖嗖的，11B 也能跑。 再大的模型，增大内存 M4 虽然也能跑，但那个速度，就开始难以忍受，远不如独显。 |
 | 2 fredweili 319 天前 同意楼上，m1 pro 16g 跑 8b 左右的 ollama 模型，测试玩玩够了，再大的模型简单试不出来区别 |
 | 3 Liftman 319 天前 取决于你跑什么模型。。。粗略的来说。模型体积多大。你一般要至少比他大的显存。越大的体积。误差越大。所以需要的越大。其他：无 我 128g 跑 90b 很稳定。但是你还是要鉴别需求先。 |
 | 4 flax5a98aa2 319 天前 via iPhone 在服务器上跑过 72B int8 awq 的 qwen2.5 ，感觉生成能力并不是很好（可能是被闭源 LLM 惯坏了）...在我自己 win 本上用 ollama 跑 8B 的量化模型，效果更差。感觉 32G 跑不出来什么有用的，只能玩玩，过一阵就退烧了，所以我不建议把跑大模型作为内存规格的考虑因素 |
Select Language