请教 Mac studio 部署 ai ,用 ollama 还是 lm studio 更好一点?不甚了解,希望懂得朋友可以在给出答案的同事稍微讲一下理由 !~
1 Surechun 149 天前 非技术人员用 ollama ,部署简单,常用的模型都有。而 LM 一般给技术人员去折腾的,模型量会比 ollama 多一些,模型的选择源多一些(直接去 Hugging Face 下载模型用) |
![]() | 2 ZiChun 149 天前 我的建议是 lmstudio 。我这边 M4 Max 使用 lmstudio 部署 mlx 格式的 qwen-30b-a3b 能有 95t/s ,ollama 部署 qwen-30b-a3b 大概是 75t/s 。 |
3 fredweili 149 天前 我用 ollama ,简单,模型也比较丰富 不做微调之类的,主要学 MCP 和 Agent |
4 G200 149 天前 mlx 格式优先,选 lm studio |
![]() | 5 icestraw 149 天前 我建议 API 。mac 性能太低,模型太小不实用,太大跑不动,ram 装得下并发也低,训练也跑不动。除了玩一下子没啥大用。 |
![]() | 6 heyjei 149 天前 lm studio 不是更简单嘛。 在一些网络隔离的环境下,独立部署是非常有必要的。 |
7 234ygg 149 天前 性能太低,没有部署价值,api 或网页版很便宜 |
8 duvet 148 天前 API 比电费便宜,除非想自己微调或者担心隐私问题没必要本地部署 |
![]() | 9 slowgen 148 天前 用 LM Studio ,配合 MLX 和 DWQ 量化(最新的一个量化方法,质量很好)很不错,开 KV Cache 也方便,我拿 M2 Ultra 跑 Qwen3-30B-A3B-DWQ 的 4bit 版可以到 105token/s ,Qwen3-235B-A22B-DWQ 的 4bit 版本也能到 32token/s |
![]() | 10 SakuraYuki 145 天前 ollama 省事 |
11 miaoxiaomayi OP @Surechun 好滴 多谢 |
12 miaoxiaomayi OP @ZiChun 试了试 确实如你所说 |
13 miaoxiaomayi OP @fredweili 好滴 |
14 miaoxiaomayi OP @G200 ollama 没有这个格式? |
15 miaoxiaomayi OP @icestraw 私密 私密 |
16 miaoxiaomayi OP @heyjei 是的 太对了 |
17 miaoxiaomayi OP @duvet 私密 私密 |
18 miaoxiaomayi OP @shuimugan 好主意 |
19 miaoxiaomayi OP @SakuraYuki 好的 多谢 |
20 miaoxiaomayi OP @G200 ollama 能用这个格式不 |
21 miaoxiaomayi OP @shuimugan 这么高! |