推荐一个开源 LLM 网关: Bifrost,支持负载均衡和故障切换 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xiaoz
1.03D
V2EX    分享发现

推荐一个开源 LLM 网关: Bifrost,支持负载均衡和故障切换

  •  
  •   xiaoz 3 月 26 日 1134 次点击

    Golang 开发的,低占用、高性能。主要特点是可以聚合多家 AI 大模型统一调用,且支持负载均衡故障切换,避免免费大模型出现 429 的尴尬。

    Github 开源地址: https://github.com/maximhq/bifrost

    写了一篇文章介绍如何部署和配置:https://blog.xiaoz.org/archives/22835

    13 条回复    2026-03-30 17:43:00 +08:00
    GlobalNPC
        1
    GlobalNPC  
       3 月 26 日   1
    字节内部抓包工具也叫 Bifrost
    xiaoz
        2
    xiaoz  
    OP
       3 月 26 日
    @GlobalNPC 网上搜了下叫 Bifrost 的项目好像还不少,不特别指明是大模型网关,AI 都不知道说的哪个。
    leena
        3
    leena  
       3 月 26 日 via iPhone   1
    有一个代理 app 也叫这个名字,不过好久没更新了
    wm5d8b
        4
    wm5d8b  
       3 月 26 日   1
    高级功能都得企业版,免费版不如 one-api 的分支
    xiaoz
        5
    xiaoz  
    OP
       3 月 26 日
    @wm5d8b 看个人用途吧,one-api 很多功能我用不上,我主要用 Bifrost 的负载均衡和故障切换。Bifrost 路由更强大一些。
    hellskof
        6
    hellskof  
       3 月 27 日
    @leena 安卓 APP 吧,装过,很久没更新了,后面没用了
    daimaosix
        7
    daimaosix  
       3 月 28 日 via Android
    支持给接口配置代理吗
    xiaoz
        8
    xiaoz  
    OP
       3 月 29 日
    @daimaosix #7 ,刚刚看了下支持 HTTP 和 SOCKET5 代理。参考: https://h.webp.top/2026/03/29/ftvwKEAX.png
    daimaosix
        9
    daimaosix  
       3 月 29 日
    @xiaoz #8 感谢,看上去不错,打算迁移过来试试
    daimaosix
        10
    daimaosix  
       3 月 30 日 via Android
    @xiaoz 我没太理解,这个负载平衡和故障切换好像就是不同的 AI 提供商来回切,如果我有两个 codex 的 API 没用吧。。。模型提供商只能添加一个,base_url 也只能有一个。。。
    xiaoz
        11
    xiaoz  
    OP
       3 月 30 日
    @daimaosix #10
    1. Codex 应该没有提供标准的 API 供第三方工具调用或接入吧?
    2. 模型提供商确实只能加一个,但是一个提供商可以设置多个密钥,参考: https://h.webp.top/2026/03/30/zexexyhQ.png
    3. 另外如果你想实现相同的渠道多个不同的密钥,也可以添加自定义渠道,可以自己填写 base_url ,参考: https://h.webp.top/2026/03/30/wrE9fXvd.png
    4. Bifrost 的强大来自灵活的路由规则,可以实现渠道商轮询负载、也可以根据模型来负载,看你的需求和具体情况,我写了一篇文章简单介绍路由规则: https://blog.xiaoz.org/archives/22857 更多使用的话你可以参考下官方文档,另外官方文档有个 AI 机器人,不懂的也可以直接问文档页面上的机器人。
    daimaosix
        12
    daimaosix  
       3 月 30 日   1
    @xiaoz #11 感谢,看到自定义了,看了很多网关,这个够简洁稳定
    xiaoz
        13
    xiaoz  
    OP
       3 月 30 日
    @daimaosix #12 ,不客气,希望对你有帮助。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5502 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 07:25 PVG 15:25 LAX 00:25 JFK 03:25
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86