需要购买国产显卡本地部署大模型,哪家的比较好 - V2EX
Flagship9945

需要购买国产显卡本地部署大模型,哪家的比较好

  •  
  •   Flagship9945 5h 48m ago 3538 views
    • 从部署、厂商支持等角度来说
    • 200w 以内显卡预算
    51 replies    2026-06-08 14:16:57 +08:00
    Flagship9945
        1
    Flagship9945  
    OP
       5h 47m ago
    有没有有经验的老哥
    michaelzxp
        2
    michaelzxp  
       5h 44m ago
    摩尔 s5000 的 8 卡整机
    Jiajin
        3
    Jiajin  
       5h 43m ago
    腾 910B2
    DeYiAo
        4
    DeYiAo  
       5h 18m ago   1
    @Jiajin 不仅难用,而且马上就要被淘汰
    cocogovern
        5
    cocogovern  
       5h 15m ago
    这么厉害的预算,是啥应用啊
    DeYiAo
        6
    DeYiAo  
       5h 15m ago   4
    最合适的是 PPU 1 代,16 卡。 最近涨价了预算不知道够不够。
    PPPU 2 代,刚发布,8 卡,能买得到应该是最佳。
    考虑腾系列的前提是,你们技术能力极强且有 10 几人的底层工程师可以调试改 bug ,或者财大气粗让华为的工程师驻场。
    Babbitt
        7
    Babbitt  
       5h 2m ago via Android
    最近公司也有这需求,预算差不多,想部署 deepseek v4
    Flagship9945
        8
    Flagship9945  
    OP
       5h 2m ago via iPhone
    @cocogovern 这预算算少的了
    Flagship9945
        9
    Flagship9945  
    OP
       5h 1m ago via iPhone
    @DeYiAo 腾问题很多吗?
    yyttrr
        10
    yyttrr  
       5h 0m ago
    除了华为卡都支持 cuda,但是 cuda 版本可能很老,而且需要的一些其他基础设施要自己实现,不过有大模型写这些也不算什么难事.避坑一些特殊规格的比如一卡两芯的,选比较新的卡都差不多,海光的挺好用的
    skuuhui
        11
    skuuhui  
       4h 55m ago
    没经验不推荐国产显卡部署,坑太多了。如果非要部署建议找那种专门承接离线大模型部署业务的公司,直接上门安装包售后那种。
    Flagship9945
        12
    Flagship9945  
    OP
       4h 52m ago via iPhone
    @skuuhui 信创没办法
    Clannad0708
        13
    Clannad0708  
       4h 45m ago   1
    国产显卡性能差,你即使部署了本地大模型效果也远不如网页版的能力,只能说不清楚需求。
    vandort
        14
    vandort  
       4h 39m ago
    不知道你要部署什么模型,但是现在模型出的这么快,从尽可能支持最新的模型的角度来说,选显存大的,卡内带宽高的( 200W 也做不了多机互联),厂家支持到位的;符合前面三个条件下,选支持 FP8 ,最好能支持 MXFP4 的;这些都满足的情况下,选省电的,便宜的,能稳定供应的
    Flagship9945
        15
    Flagship9945  
    OP
       4h 35m ago via iPhone
    @Clannad0708 政府项目就这样,领导跟风拍板,最后往往草草了事,样子上说的过去就行。
    cpper
        16
    cpper  
       4h 28m ago
    这种部署最终都是浪费掉的,说实话
    byteX
        17
    byteX  
       4h 28m ago

    信创
    Flagship9945
        18
    Flagship9945  
    OP
       4h 25m ago via iPhone   1
    @cpper 整条线上的人赚钱了,
    strobber16
        19
    strobber16  
       4h 25m ago
    微内核
    Flagship9945
        20
    Flagship9945  
    OP
       4h 24m ago via iPhone
    有经验的老哥可以合作
    diudiuu
        21
    diudiuu  
       4h 21m ago
    看显存和带宽,合适就买
    cpper
        22
    cpper  
       4h 21m ago
    @Flagship9945 因为可以收回扣的
    cpper
        23
    cpper  
       4h 20m ago   1
    @Flagship9945 并不是他们蠢所以拍屁股做的决策,而是因为可以收回扣,有利益
    xiaxichen
        24
    xiaxichen  
       4h 18m ago
    我测过几家的显卡只能说阿里的 ppu 还是能用的,其他的都不太行.尤其吹的锣鼓震天响的华为.
    newaccount
        25
    newaccount  
       3h 35m ago
    政府项目不要瞎搞,你想部署哪个模型,联系对方咨询软硬件环境,人家也乐于多几个样板工程
    catazshadow
        26
    catazshadow  
       3h 31m ago via Android   8
    纳税人的钱就这么被烧掉了
    mingtdlb
        27
    mingtdlb  
       3h 28m ago
    国产都有哪些 GPU ?华为腾、天数智芯,还有哪些,海光好像也有
    cctvbnm111X1
        28
    cctvbnm111X1  
       3h 22m ago
    如果现在上项目,那必须是腾 950dt ,fp8 都不错了,反正有技术支持,其他几个厂都要慢的多,如果你说自己玩,那还是 ppu ,cuda 生态容易点
    whoops
        29
    whoops  
       3h 18m ago
    有信创要求,你的选择也就这九个,你可以了解一下平头哥,据说比华为的坑少一点,https://www.itsec.gov.cn/aqkkcp/cpgg/202605/t20260526_259396.html
    songray
        30
    songray  
       3h 13m ago
    国内的卡基本都是偏科的,建议先去云服务上租不同型号,把自己的 POC 跑通。
    wskymark
        31
    wskymark  
       3h 9m ago
    这东西不是只需要考虑一上指标吗?哪家有利润要哪家的
    abel533
        32
    abel533  
       3h 5m ago
    @songray 有国产卡云服务租的渠道吗?
    songray
        33
    songray  
       3h 4m ago
    @abel533 有,华为云和阿里云就可以租到两家对应的型号
    xiaomushen
        34
    xiaomushen  
       2h 56m ago
    @Jiajin 这东西只有理论算力。。。实际极难发挥
    xiaomushen
        35
    xiaomushen  
       2h 54m ago
    @cpper 又不是你口袋里的钱,有啥浪费不浪费的。哪怕外企里买了 H100 部署,你能保证大部分情况下,不是浪费么?
    google2023
        36
    google2023  
       2h 51m ago   1
    @DeYiAo 武汉某高校去年 4000W 用在腾身上,技术支持都远远跟不上
    google2023
        37
    google2023  
       2h 50m ago
    @skuuhui 麻烦推荐几家?最好有武汉的,要真正技术实力强的
    xxmaqzas
        38
    xxmaqzas  
       2h 38m ago
    我们信创项目都用的昆仑芯 P800 只能说不太好用
    find
        39
    find  
       2h 29m ago via Android
    看了好多评论,果然是殖人思想。难道一辈子都要受制于别人吗
    codingmiao
        40
    codingmiao  
       2h 20m ago
    用过海光、腾、平头哥。腾自建生态加上文档稀烂,体验就是一坨。另外两家 cuda 上能跑的代码随便改改就能跑起来,但比起 n 卡来性能和体验还是要差不少。
    cpper
        41
    cpper  
       2h 7m ago   1
    总有些人以为是在创新和防止卡脖子,其实背后全是利益和勾兑
    cpper
        42
    cpper  
       2h 6m ago   1
    @xiaomushen 我每年个人所得税交几十万,还不能关心下蛀虫浪费税收了?
    cpper
        43
    cpper  
       2h 5m ago
    有些人揣着明白装糊涂,信创都是些什么东西心里没点数吗
    Flagship9945
        44
    Flagship9945  
    OP
       2h 5m ago via iPhone
    产品选型,不涉及其他的~~
    cpper
        45
    cpper  
       2h 4m ago   2
    @xiaomushen 外企就是把买的卡扔到水坑里都无所谓,只要不是花的税收的钱。但信创的那些单位花的钱来自于哪里你心里没数?
    jacketma
        46
    jacketma  
       1h 44m ago
    网上不是爆腾 910b 、910c 都是 TSMC 代工的 7nm 么(算能科技发包),工艺品控应该可以,就看你这边部署能不能适应软件生态了
    EngelEyes
        47
    EngelEyes  
       1h 36m ago
    七彩虹
    abel533
        48
    abel533  
       1h 20m ago
    @songray #33 这两家找过多个入口,都看不到能选 GPU 的地方。。想从头在一台机器部署大模型测试,方便提供一个选择型号的入口界面吗?问过 AI ,说有,根据步骤走不通。
    murmur
        49
    murmur  
       27 mins ago
    阿里 平头哥
    jokechen
        50
    jokechen  
       27 mins ago
    腾 910c 部署 deepseek 遇到了一个 bug ,直接影响使用,还是要谨慎些。
    https://github.com/vllm-project/vllm-ascend/issues/9170
    songray
        51
    songray  
       20 mins ago
    @abel533 华为云选购买弹性云服务器,区域选华北三。

    找不到是因为限购,要用公司的账号找客户经理申请。
    About     Help     Advertise     Blog     API     FAQ     Solana     5709 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 122ms UTC 06:37 PVG 14:37 LAX 23:37 JFK 02:37
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86