公司一个台式机想作为服务器部署本地大模型,怎么在局域网使用呢 - V2EX
xinhaiw

公司一个台式机想作为服务器部署本地大模型,怎么在局域网使用呢

  •  
  •   xinhaiw Feb 21, 2025 2578 views
    This topic created in 472 days ago, the information mentioned may be changed or developed.

    需要申请公网 IP 吗,只是公司内网使用?不太懂网络,需要大佬解答一下

    21 replies    2025-03-11 11:51:12 +08:00
    Nasdaq
        1
    Nasdaq  
    PRO
       Feb 21, 2025
    cheng6563
        2
    cheng6563  
       Feb 21, 2025
    直接 ollama 就能启动并暴露 OpenAI 兼容的 API ,然后再随便套个 GUI 就行了。
    xzg1993
        3
    xzg1993  
       Feb 21, 2025
    台式机的性能够吗。
    xinhaiw
        4
    xinhaiw  
    OP
       Feb 21, 2025
    @cheng6563 直接通过局域网 IP 例如 192.168.1.100 这种就可以吗?
    tool2dx
        5
    tool2dx  
       Feb 21, 2025
    @xzg1993 正常来讲是不够的,台式机显存太小了。

    看 github 上各种神仙后续优化了,会不会有技术突破。

    本地只能跑残血版,还不如让同事直接用满血版 API 。
    proxytoworld
        6
    proxytoworld  
       Feb 21, 2025
    内网使用有内网 IP 就行了,用 ollama 有 api ,本地装一个客户端就行了
    fishlium
        7
    fishlium  
       Feb 21, 2025
    我们搞了一台 8 卡 4090 不太够用
    E2gCaBAT5I87sw1M
        8
    E2gCaBAT5I87sw1M  
       Feb 21, 2025
    得 8 张 H100 才能跑 671b 全量版本,价值人民币 200 万元。
    wu00
        9
    wu00  
       Feb 21, 2025
    ”一个台式机“
    这种情况,本地部署不是用来学习的吗
    adguy0228
        10
    adguy0228  
       Feb 21, 2025 via Android
    把防火墙关了,然后套个 openwebui 就可以给别人用了
    julyclyde
        11
    julyclyde  
       Feb 21, 2025   1
    现在就连不会计算机基本操作的人都要搞 AI 了
    我看这 AI 很快就要凉了
    wangyuescr
        12
    wangyuescr  
       Feb 21, 2025
    @julyclyde 这才是互联网的魅力好吧
    julyclyde
        13
    julyclyde  
       Feb 22, 2025
    @wangyuescr 用户玩玩闹闹也就算了;从业人员不宜这样
    xinhaiw
        14
    xinhaiw  
    OP
       Feb 22, 2025
    @julyclyde 老哥,我只是不懂网络,我之前开发都是云上开发的,没本地局域网部署过
    julyclyde
        15
    julyclyde  
       Feb 22, 2025
    @xinhaiw 不止。你对服务器应该也没什么概念
    xinhaiw
        16
    xinhaiw  
    OP
       Feb 22, 2025
    @julyclyde 我开发好几个电报机器人,都盈利了,你说我不懂...
    Mingcr
        17
    Mingcr  
       Feb 22, 2025 via Android
    @xinhaiw 啊,TG 机器人找台服务器吧
    julyclyde
        18
    julyclyde  
       Feb 22, 2025
    @xinhaiw 拿结果反推,缺乏基本逻辑啊
    逆命题和原命题就没什么关系

    再说 tg bot 才费多少资源
    coefu
        19
    coefu  
       Mar 1, 2025
    @xinhaiw 只能说你基本功太差,这种问题,问 deepseek 就行,还专门开一贴。属实菜。
    volvo007
        20
    volvo007  
       Mar 4, 2025
    本地部署的话完全可以封闭,应该不需要公网 ip
    cander0815
        21
    cander0815  
       Mar 11, 2025
    大佬,请问怎么实现让 deepseek 这种存文字模型的可以解析图片?
    About     Help     Advertise     Blog     API     FAQ     Solana     934 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 57ms UTC 20:55 PVG 04:55 LAX 13:55 JFK 16:55
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86