请问 Celery 这样的任务定时执行的东西准时吗,会有延迟吗 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
9xrtp7r1
V2EX    Python

请问 Celery 这样的任务定时执行的东西准时吗,会有延迟吗

  •  
  •   9xrtp7r1 2015-03-05 21:57:06 +08:00 3626 次点击
    这是一个创建于 3875 天前的主题,其中的信息可能已经有所发展或是发生改变。

    假设服务器时间是正确的,并且服务器也不会出现死机 等意外情况,那么如果给Celery添加10000个任务,这10000个任务并非在同一秒执行,而是分部在一天内,那么 这10000个任务都会按时执行吗。 会不会比设定的时间晚几秒,

    如果任务数量是10w呢, 100w呢

    请大家指点下下

    谢谢

    7 条回复    2015-03-06 14:25:00 +08:00
    Catstyle
        1
    Catstyle  
       2015-03-06 00:12:01 +08:00
    任务并发多于worker数基本都会排队
    话说比设定时间有偏差--几秒的范围内--什么任务会不能忍受?
    binux
        2
    binux  
       2015-03-06 00:32:22 +08:00
    除非实时系统,没有什么保证程序能准时执行的。
    cevincheung
        3
    cevincheung  
       2015-03-06 00:41:07 +08:00
    多机呗
    dongweiming
        4
    dongweiming      2015-03-06 11:25:11 +08:00   1
    100w级别/天, 让消费能力高到不让队列里面有等待处理的任务还算容易.

    但是误差在这里:

    1. 你的beat默认间隔是2s.
    2. worker loop去队列拿任务的间隔1~10.1s(一般是1-2s, 这个结果一般取决于你的任务执行的繁忙和失败重试的影响)

    so. 理论上最大的延迟可以达到12.1s

    还是看你的系统的健康程度, 但是说实话....
    9xrtp7r1
        5
    9xrtp7r1  
    OP
       2015-03-06 14:24:37 +08:00
    @Catstyle 非常感谢
    9xrtp7r1
        6
    9xrtp7r1  
    OP
       2015-03-06 14:24:46 +08:00
    9xrtp7r1
        7
    9xrtp7r1  
    OP
       2015-03-06 14:25:00 +08:00
    @dongweiming 非常感谢您
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5919 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 03:07 PVG 11:07 LAX 20:07 JFK 23:07
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86