老黄新出的这台设备有点意思,感觉目前实验室、小公司本地部署推理模型的最优解了 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yishibakaien
V2EX    硬件

老黄新出的这台设备有点意思,感觉目前实验室、小公司本地部署推理模型的最优解了

  •  
  •   yishibakaien 277 天前 3898 次点击
    这是一个创建于 277 天前的主题,其中的信息可能已经有所发展或是发生改变。
    老黄新出的这台设备有点意思,感觉目前实验室、小公司本地部署推理模型的最优解了,1Pb FP4 算力,约等于 4090 ,给了 128G 通用显存,支持多台互联,带宽可能只有 512gb 。

    关键是只要 3000 刀,不要盯着游戏卡了。

    https://www.nvidia.com/en-us/project-digits/
    24 条回复    2025-01-09 09:08:12 +08:00
    min
        1
    min  
       277 天前
    LPDDR5X...
    pigdragon
        2
    pigdragon  
       277 天前
    虽然内存低阶但是好歹大呀
    bigtear
        3
    bigtear  
       277 天前
    之前的开发者套件配置没这个高,受限于带宽问题速度很慢...
    这种小主机最大的问题是统一内存的带宽,不过 DIGITS 都标注了高带宽,希望能有惊喜。
    yishibakaien
        4
    yishibakaien  
    OP
       277 天前 via iPhone
    @min 够了,主要是够大,MOE 出来后,算力不是那么吃紧,瓶颈都在显存,很多 4090 改 48g 的,一块淘汰的 A100 80g 都要到 1 万美刀
    qxmqh
        5
    qxmqh  
       277 天前
    说真的 我挺想要的。
    mumbler
        6
    mumbler  
       277 天前
    国内起码卖到 6 万以上
    airportIllIl
        7
    airportIllIl  
       277 天前 via Android
    国内原价买的几率太小了,这种官方指导价不具备现实意义
    iceking112
        8
    iceking112  
       277 天前
    很够用了,走上 Apple 的道路
    shunia
        9
    shunia  
       277 天前
    会不会跟显卡一样,最后其实是宏基 digits ,七彩虹 digits ?
    jhytxy
        10
    jhytxy  
       277 天前
    卧槽。以后家里除了软路由还得加上一个算力宝?
    yishibakaien
        11
    yishibakaien  
    OP
       277 天前 via iPhone
    @mumbler 这个没有制裁吧,随便买
    yishibakaien
        12
    yishibakaien  
    OP
       277 天前 via iPhone
    @airportIllIl 不会的,这个算力应该没有在制裁范围内,我感觉这个机器老黄的用意是降低门槛,让中小企业也可以参与进英伟达 ai 体系,完善生态,巩固护城河
    yishibakaien
        13
    yishibakaien  
    OP
       277 天前 via iPhone
    @shunia 宏,蟹蟹你
    cbythe434
        14
    cbythe434  
       277 天前
    @yishibakaien 比大师门徒吗
    hadoop
        15
    hadoop  
       277 天前
    国内买不到吧
    ShawnSky
        16
    ShawnSky  
       277 天前
    整个 pcie 、支持显示接口;如果还能打游戏,该多好哈哈哈哈哈
    NuU904Nbd6wClDX4
        17
    NuU904Nbd6wClDX4  
       277 天前
    arm+linux 主机。感觉少了一半用户了。
    HelixG
        18
    HelixG  
       277 天前
    两块都装不下 deepseek v3 ,感觉很悬
    yishibakaien
        19
    yishibakaien  
    OP
       277 天前 via iPhone
    @HelixG 两个 5 万块,deepseek v3 670B ,可以部署吧,门槛降低了很多很多
    pakro888
        20
    pakro888  
       277 天前
    @yishibakaien #19 In addition, using NVIDIA ConnectX networking, two Project DIGITS AI supercomputers can be linked to run up to 405-billion-parameter models.
    两台最多 4050 亿参数,运行不了吧
    yishibakaien
        21
    yishibakaien  
    OP
       276 天前 via iPhone
    @pakro888 噢噢 那看起来不够,要 4 台,目前还不知道支不支持 4 台互联
    lovestudykid
        22
    lovestudykid  
       276 天前
    瓶颈除了显存,还有显存带宽。给你一秒 5 个 token 写代码,你等得起吗?
    twinsant
        23
    twinsant  
       276 天前
    想买
    HelixG
        24
    HelixG  
       276 天前
    估计这玩意还需要几年才能成熟,什么时候能单机跑 500b 才有的谈
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2789 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 13:18 PVG 21:18 LAX 06:18 JFK 09:18
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86