V 友 有买物理服务器跑 AI 的吗? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
x18960
V2EX    问与答

V 友 有买物理服务器跑 AI 的吗?

  •  
  •   x18960 2023-07-19 09:12:40 +08:00 4310 次点击
    这是一个创建于 815 天前的主题,其中的信息可能已经有所发展或是发生改变。

    看了大厂 GPU 计算的服务器太贵了。 就寻思自己买个矿卡托管到机房,后来发现麻烦至极。不知道 V 友有没有类似操作的

    20 条回复    2023-07-19 17:30:46 +08:00
    opengps
        1
    opengps  
       2023-07-19 09:14:02 +08:00
    到了 GPU 这个级别了,放在家里不是更省吗?
    Solix
        2
    Solix  
       2023-07-19 09:15:10 +08:00 via iPhone
    自己玩,买个主机配一台也行,商业化只能用云服务
    misaki321
        3
    misaki321  
       2023-07-19 09:29:45 +08:00
    跟公司申请买了一台 4 卡 V100 ,将就用
    passall
        4
    passall  
       2023-07-19 09:39:57 +08:00
    托管到机房要多少钱?
    NSAtools
        5
    NSAtools  
       2023-07-19 09:42:01 +08:00
    可以找小厂,比如 AutoDL
    gam2046
        6
    gam2046  
       2023-07-19 09:48:13 +08:00   2
    你是一点没算电费、散热、维护成本呀,
    用自己采购的物料成本去对比人家的物料+运营成本。

    自己放家里,你要买专业卡的话,散热成本低不了,要不就是买游戏卡,应用范围和云厂商的专业卡比不了。
    要是托管机房的话,万一哪天机器死了,你就要走各种审批手续,然后人肉到机房处理,这也是成本。

    ---

    小规模应用,采买云厂家的服务已经是相对最便宜的了。
    当应用规模需要 10 个以上专业卡的时候,且业务相对成型,自建才有性价比。
    asdgsdg98
        7
    asdgsdg98  
       2023-07-19 10:37:01 +08:00
    不如放自己家,成本也就占地
    fiht
        8
    fiht  
       2023-07-19 10:39:31 +08:00
    家里本来有一个 EPYC 的主机,今年 AI 比较火热加了一张 3090 显卡。

    其实没问题的,家里极少停电,网路也很稳定,散热之类的也不用太考虑。

    托管就大可不必了,托管一个是费用高,另外就是上架、下架、远程维护、换个硬盘等的,都是问题。
    x18960
        9
    x18960  
    OP
       2023-07-19 10:51:04 +08:00
    看到一个 国内机房托管带 2080TI 显卡的物理服务器
    要 1K 一个月,感觉有点小贵。年付 1W 也不知道项目能不能挺这么久
    me1onsoda
        10
    me1onsoda  
       2023-07-19 11:03:05 +08:00
    大概率会空载,不是云厂商那边按量使用
    me1onsoda
        11
    me1onsoda  
       2023-07-19 11:04:11 +08:00
    @me1onsoda 不是->不如
    vopsoft
        12
    vopsoft  
       2023-07-19 11:30:51 +08:00
    @passall
    世纪互联
    一个 9A 机柜 5000/月
    chengxiao
        13
    chengxiao  
       2023-07-19 11:35:14 +08:00
    反正感觉国内的云又贵又不好用
    直接跟老板申请了台 4090/13900k 换算成云 GPU 服务器基本上不到一年就回本了
    然后我这两天天天拿来串流打 Cyberpunk 2077 ~
    vopsoft
        14
    vopsoft  
       2023-07-19 11:39:30 +08:00
    我们的托管费用
    FlashEcho
        15
    FlashEcho  
       2023-07-19 12:57:50 +08:00   1
    别老看大厂的啊,gpu 云有不少廉价的
    国内比如 autodl ,国外比如 vast.ai

    vast.ai 上,一块 A100 一小时才要 1 美元,这已经很便宜了
    hui9000
        16
    hui9000  
       2023-07-19 16:22:52 +08:00
    托管不算固定自残啊。还是买物理机自己搞,就算损耗卖 2 手也能处理出去。你托管钱花了就是花了;
    herozzm
        17
    herozzm  
       2023-07-19 16:29:08 +08:00
    我托管了一台,安装了普通个人用的显卡,扯掉了风扇,1U 体积,一年 6000
    manasheep
        18
    manasheep  
       2023-07-19 17:02:27 +08:00
    你看 B 站 林亦 LYi ,他应该一直都是自己跑着玩,最近用 M2 的 Mac 跑,因为可以有超大至多 192GB 的统一内存充当显存。
    cccclk
        19
    cccclk  
       2023-07-19 17:26:52 +08:00
    自己弄可能会有不少烦心事,客户自己弄的天天温度降不下来,强制关机了
    tangtang369
        20
    tangtang369  
       2023-07-19 17:30:46 +08:00
    @x18960 肯定是 4090 和 A100 差不多的性能 除了不能加载超大模型 A100 的显存是 40G 4090 是 24GB
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     841 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 32ms UTC 20:47 PVG 04:47 LAX 13:47 JFK 16:47
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86