从项目里抽了个 Node.js rate limiter 出来,基于 Redis sorted set,支持多窗口限频 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
vilicvane
V2EX    分享创造

从项目里抽了个 Node.js rate limiter 出来,基于 Redis sorted set,支持多窗口限频

  • &bsp;
  •   vilicvane
    vilicvane 2023 年 5 月 15 日 1862 次点击
    这是一个创建于 1065 天前的主题,其中的信息可能已经有所发展或是发生改变。

    项目地址 https://github.com/vilic/rateman

    import ms from 'ms'; import {RateLimiter, RateLimitExceededError} from 'rateman'; const rateLimiter = new RateLimiter({ name: 'user', windows: [ {span: ms('1m'), limit: 10}, {span: ms('1h'), limit: 100}, ], }); try { await rateLimiter.attempt('<user id>'); } catch (error) { if (error instanceof RateLimitExceededError) { // ... } } 

    Express

    app.use((req, _res, next) => { const ip = req.headers['x-forwarded-for'] || req.ip; void rateLimiter.attempt(ip).then( () => next(), error => next(error), ); }); 
    4 条回复    2023-05-17 01:57:05 +08:00
    mywaiting
        1
    mywaiting  
       2023 年 5 月 15 日
    刚好项目有用到类似的实现,帮顶~

    翻了一遍限流的实现,最后还是自己用 TokenBucket/令牌桶 搞定了

    基于时间的限流都有掐时间点超过并发限制的缺点,只能按 windows 划分时间间隔,并且要求窗口时间间隔尽量小,不过基于时间的限流代码逻辑简单,容易理解,算是其优点

    另,限流这事情,建议尽量不要在 JS App 里搞,建议前端丢个 nginx/traefik 甚至 kong 这样的,会方便很多
    vilicvane
        2
    vilicvane  
    OP
       2023 年 5 月 15 日 via iPhone
    @mywaiting 谢谢,不过为啥掐时间点算缺点。多窗口应该不存在要时间间隔尽量小的问题?还是我没理解到你的意思。
    edward1987
        3
    edward1987  
       2023 年 5 月 16 日   1
    大概看了下思路,是用 sorted set 保存每次请求,然后根据时间窗口去判断请求数量?
    我有个想法,感觉用 list 就能实现,每次请求就把当前时间戳 push 进去,
    比如窗口设定是 {span: ms('1m'), limit: 10},
    判断的时候 只要 redis.lindex(key,10) 拿到前面第十个请求的时间戳,判断下时间是不是一分钟内,如果是一分钟内 那就超出窗口限制。 (不过这个方案在并发高的情况会有误差,塞进去的顺序不完全序)
    vilicvane
        4
    vilicvane  
    OP
       2023 年 5 月 17 日
    @edward1987 因为代码历史久远(虽然刚抽出来),具体当时为啥选了 sorted set 我也忘记了。可能是为了方便删除特定时间以前的?你这个感觉 multiplier 为 1 的时候应该好多了,> 1 的时候应该也不差(现在是取出后 js 处理,换成这个应该是 push 的时候处理)。那个误差应该不重要。空了我试试。
        帮助文档     自助推广系统     博客     API     FAQ     Solana     4370 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 10:11 PVG 18:11 LAX 03:11 JFK 06:11
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86