本地大模型目前意义大吗? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wyfig
V2EX    Local LLM

本地大模型目前意义大吗?

  •  
  •   wyfig 2 天前 1150 次点击

    现在用 2020 款初代 M1 处理器的 MacBook pro ,算了下也 5 年了,虽然还能用,但是距离苹果的更新日期也只有一两年时间了。 想换一台新的 mac 。

    如果普通的日常开发的话,选择最新的 m5 处理器的 MacBook pro 32G+1T 版本足够我用了。 但是最近两年本地大模型越来越多,范围也越来越广,如果考虑到大模型本地运行,最少可能需要一台 m4 max 处理器的 mac studio 128G+2T 的配置,两者价格直接差了快一倍。

    目前有没有在做本地大模型微调等,距离比如用本地大模型写代码以及做一些图片生成、大规模内容处理等事情还有多远,是否值得为后面的四五年准备上一台高配的 mac ?

    18 条回复    2026-01-15 08:57:51 +08:00
    wu67
        1
    wu67  
       2 天前
    我就这么说, 你加钱买高配的钱+高功率跑模型产生的电费, 砍下来买标配硬件, 然后去开各种 AI 的会员, 够你爽玩好几年
    oed
        2
    oed  
       2 天前
    搞成人内容有用。
    elevioux
        3
    elevioux  
       2 天前
    除了隐私或 NSFW 内容可能需要,其它情况不如买 API 了。
    beefhotpot
        4
    beefhotpot  
       2 天前   1
    主要现在大模型更新换代很快,要本地跑效果很好的模型,你上面提到的设备也跑不动,最多跑个量化版,也没什么意思
    HENQIGUAI
        5
    HENQIGUAI  
       2 天前
    有预算可以买,一般 64G 其实就够了,64G 不够的话再大的话就得 128G 也可能不够。
    liu731
        6
    liu731  
    PRO
       2 天前
    4090+96GB RAM 跑不起来 120B ,只能说玩玩。
    adov
        7
    adov  
       2 天前 via Android
    现在没有可以搞 nsfw 内容的 api 吗?那看来还是要搞本地啊
    evan1
        8
    evan1  
    PRO
       2 天前
    搞成人内容有用。

    其它没用,不如用免费的 grok 、gemini 之类的。
    Solix
        9
    Solix  
       2 天前
    本地模型不用 N 卡就是残废,别信说 mac 高配就行了
    maichael
        10
    maichael  
       2 天前
    个人使用意义不大。
    taozheju
        11
    taozheju  
       2 天前
    NSFW
    wyfig
        12
    wyfig  
    OP
       2 天前
    按照 v 友们说的,确实本地为了跑大模型搞这个配置意义不大。 我平时开发目前 m1 16GB 的也够用了,感觉升级个 32G 的绰绰有余了。
    Seanfuck
        13
    Seanfuck  
       2 天前
    没什么意义,玩 2 天就没兴趣了。
    想玩可以去线上租个卡玩,几十块就能玩几天。
    fank99
        14
    fank99  
       2 天前
    没有什么意义,即使有意义,也不是现在这个时间点的 mac 能搞定的
    frayesshi1
        15
    frayesshi1  
    PRO
       2 天前
    这个时候没得什么意义,但是一旦后面不知道
    hughrover
        16
    hughrover  
       1 天前
    以 16B 尺寸的模型部署推理为例,加载半精度模型权重占用显存 16G (全精度 32G ,此外还有 KV Cache 、激活缓冲区占用的显存),即使是 m4 max 的最高配 128G ,也很难流畅运行超过 100B 尺寸的模型,供楼主参考。
    coefu
        17
    coefu  
       1 天前
    除了 m3 mac studio ultra 512G,其余都是玩具。如果有钱搞 2 个,并起来搞成 1T ,跑一跑推理 ok 的,其余的定制就得搞 n 卡了。
    jingcoco
        18
    jingcoco  
       1 天前
    现在是当备用, 现在免费的 api 太多, 不过私人的东西 还是不用或者本地大模型.
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3549 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 04:27 PVG 12:27 LAX 20:27 JFK 23:27
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86