请教 Mac studio 部署 ai,用 ollama 还是 lm studio - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
miaoxiaomayi
V2EX    macOS

请教 Mac studio 部署 ai,用 ollama 还是 lm studio

  •  
  •   miaoxiaomayi 149 天前 2476 次点击
    这是一个创建于 149 天前的主题,其中的信息可能已经有所发展或是发生改变。

    请教 Mac studio 部署 ai ,用 ollama 还是 lm studio 更好一点?不甚了解,希望懂得朋友可以在给出答案的同事稍微讲一下理由 !~

    21 条回复    2025-09-10 12:06:54 +08:00
    Surechun
        1
    Surechun  
       149 天前
    非技术人员用 ollama ,部署简单,常用的模型都有。而 LM 一般给技术人员去折腾的,模型量会比 ollama 多一些,模型的选择源多一些(直接去 Hugging Face 下载模型用)
    ZiChun
        2
    ZiChun  
       149 天前
    我的建议是 lmstudio 。我这边 M4 Max 使用 lmstudio 部署 mlx 格式的 qwen-30b-a3b 能有 95t/s ,ollama 部署 qwen-30b-a3b 大概是 75t/s 。
    fredweili
        3
    fredweili  
       149 天前
    我用 ollama ,简单,模型也比较丰富
    不做微调之类的,主要学 MCP 和 Agent
    G200
        4
    G200  
       149 天前
    mlx 格式优先,选 lm studio
    icestraw
        5
    icestraw  
       149 天前
    我建议 API 。mac 性能太低,模型太小不实用,太大跑不动,ram 装得下并发也低,训练也跑不动。除了玩一下子没啥大用。
    heyjei
        6
    heyjei  
       149 天前
    lm studio 不是更简单嘛。

    在一些网络隔离的环境下,独立部署是非常有必要的。
    234ygg
        7
    234ygg  
       149 天前
    性能太低,没有部署价值,api 或网页版很便宜
    duvet
        8
    duvet  
       148 天前
    API 比电费便宜,除非想自己微调或者担心隐私问题没必要本地部署
    slowgen
        9
    slowgen  
       148 天前
    用 LM Studio ,配合 MLX 和 DWQ 量化(最新的一个量化方法,质量很好)很不错,开 KV Cache 也方便,我拿 M2 Ultra 跑 Qwen3-30B-A3B-DWQ 的 4bit 版可以到 105token/s ,Qwen3-235B-A22B-DWQ 的 4bit 版本也能到 32token/s
    SakuraYuki
        10
    SakuraYuki  
       145 天前
    ollama 省事
    miaoxiaomayi
        11
    miaoxiaomayi  
    OP
       145 天前
    @Surechun 好滴 多谢
    miaoxiaomayi
        12
    miaoxiaomayi  
    OP
       145 天前
    @ZiChun 试了试 确实如你所说
    miaoxiaomayi
        13
    miaoxiaomayi  
    OP
       145 天前
    @fredweili 好滴
    miaoxiaomayi
        14
    miaoxiaomayi  
    OP
       145 天前
    @G200 ollama 没有这个格式?
    miaoxiaomayi
        15
    miaoxiaomayi  
    OP
       145 天前
    @icestraw 私密 私密
    miaoxiaomayi
        16
    miaoxiaomayi  
    OP
       145 天前
    @heyjei 是的 太对了
    miaoxiaomayi
        17
    miaoxiaomayi  
    OP
       145 天前
    @duvet 私密 私密
    miaoxiaomayi
        18
    miaoxiaomayi  
    OP
       145 天前
    @shuimugan 好主意
    miaoxiaomayi
        19
    miaoxiaomayi  
    OP
       145 天前
    @SakuraYuki 好的 多谢
    miaoxiaomayi
        20
    miaoxiaomayi  
    OP
       31 天前
    @G200 ollama 能用这个格式不
    miaoxiaomayi
        21
    miaoxiaomayi  
    OP
       31 天前
    @shuimugan 这么高!
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     926 人在   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 19:13 PVG 03:13 LAX 12:13 JFK 15:13
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86