求教 个人 aigc 创业的朋友,你们的 gpu 服务器是怎么搞定的 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
hoodjannn
V2EX    程序员

求教 个人 aigc 创业的朋友,你们的 gpu 服务器是怎么搞定的

  •  
  •   hoodjannn 314 天前 3885 次点击
    这是一个创建于 314 天前的主题,其中的信息可能已经有所发展或是发生改变。

    看了一眼 阿里云的 gpu 服务器,倒吸一口凉气,感觉这个成本真的收的回来吗

    23 条回复    2025-02-20 11:16:23 +08:00
    stimw
        1
    stimw  
       314 天前 via Android   1
    个人搞 aigc 肯定都是调 api 的,云服务器部署这个成本不太可能。
    hash
        2
    hash  
       314 天前
    租 GPU 服务器是性价比最低的,甚至都不如自己弄一堆二手显卡放家里
    shadowyue
        3
    shadowyue  
       314 天前
    我觉得组 gpu 才是正解。你自己买显卡,二手出去得亏多少钱。
    云服务好歹还能按需付费。
    rap16
        4
    rap16  
       314 天前
    套壳啊,套壳能赚钱干嘛还要自建
    codersun123
        5
    codersun123  
       314 天前
    autoDL 类似这种的按需付费
    nrtEBH
        6
    nrtEBH  
       314 天前
    together.ai
    硅基流动
    这类 ai infra 供应商
    云端 gpu 已经算好了 至少能按小时租
    自己买机器那绝对是重资产投入了 而且显卡摩尔定律还在 花大钱买的机器两年后过时划不来
    littlehans8
        7
    littlehans8  
       314 天前   4
    1. 调第三方 API ;
    2. 我当时自己是搞了张 4090 放家里,然后内网穿透出去。当然最后项目黄了,显卡卖了还小赚一点,然后整个项目最赚钱的还是这张显卡。 手动狗头 :-
    importmeta
        8
    importmeta  
       314 天前
    个人 aigc 创业, 还要租阿里云服务器, 你没有营业执照, 能过备案这一关?
    importmeta
        9
    importmeta  
       314 天前
    AI 要算法登记, 个人都没法申请.
    dayeye2006199
        10
    dayeye2006199  
       314 天前
    需要 GPU 的可以重新考虑一下商业模式
    catamaran
        11
    catamaran  
       314 天前
    IT 行业第一次进入重资产时代?
    alfa
        12
    alfa  
       314 天前
    @littlehans8 最后想下来,还不如 all in 4090()
    dropdatabase
        13
    dropdatabase  
       314 天前
    lambda labs
    mickerwx
        14
    mickerwx  
       314 天前
    说实话 调接口是最方便和便宜的 接近 2w 的 4090 买接口调用的话 你都能调到你项目倒闭
    hoodjannn
        15
    hoodjannn  
    OP
       314 天前
    @littlehans8 请教大佬,这个调三方 api ,可以本地训练好自己想要的模型,再上传就能使用了是吗
    xiaopanzi
        16
    xiaopanzi  
       314 天前
    @hoodjannn 你怎么本地训练模型?有算力吗?能训练多大模型?
    RatioPattern
        17
    RatioPattern  
       314 天前
    之前 P40 700 一块的时候买了两块,然后有 48G 显存了,然后配了 D1581 主板 16 核 32 线程的板子 4 个网口的加 128G 内存,
    加硬盘电源杂七杂八用了 3000 块出头,待机功耗 50W 不到,天天开着跑 DOCKER 挂了 FRP 出去给小站跑图跑 llama 用

    缺点就是可惜这个板子 PCIE 不是完整的 X16 ,然后 U 虽然核心多但是 IPC 低然后内存因为老一代加 ECC 的带宽有点低,然后 P40 这卡不支持半精度,但是胜在不跑训练的话速度不算慢,跑训练的话最好还是云服务跑了把模型拉下来用,硬要训练的话显存够搞好散热肯定能跑也不至于太慢,然后 48G 显存可以用很多大参数的模型,对个人来说前期投资和长期开机使用成本极致的低还是比较满意。
    RatioPattern
        18
    RatioPattern  
       314 天前
    后来没啥兴趣了就出了没想到用了大半年 P40 这玩意竟然还翻了个倍。。。这年头啥都金融化了
    hoodjannn
        19
    hoodjannn  
    OP
       314 天前
    @xiaopanzi 什么叫怎么本地训练模型??
    ibazhx
        20
    ibazhx  
       314 天前
    自己部署 GPU 服务器的话,并发怎么搞定?除非是很有钱吧,能调 api 就别买 GPU 服务器了。要微调的话,可以看看线上各家的在线微调,使用成本也低。还有的话提醒楼主一下,要是还没把调三方 api 弄明白就不要轻易创业了。
    ibazhx
        21
    ibazhx  
       314 天前
    @ibazhx #20 感觉有些多嘴了,当作没看到把
    qiniu2025
        22
    qiniu2025  
       314 天前
    AI 免费不起,必须收费
    kssss
        23
    kssss  
       234 天前
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3138 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 32ms UTC 00:18 PVG 08:18 LAX 17:18 JFK 20:18
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86