Celery

请教如果 celery 任务已经在进行中，还能如何跟用户交互么

2022-08-12T12:27:04Z

本来一个耗时任务用 celery 完成。现在一个需求，执行一半时候，需要用户输入一个验证码，然后 celery 继续执行。有什么优雅方式实现么。现在是前端遍历 celery 状态，发现需要输入时候，写入数据库，celery 那边遍历数据库。

请教一个 celery 的 worker 进程越来越多的问题

2022-06-27T01:43:24Z

我用 django 项目配置了 celery ，因为 16 个队列，起了 6 个 worker 去消耗。但是我发现 celery 的 worker 数量会一直自动增加，不知道是为什么，更要命的是内存占用挺大的。服务器都报警了，我把 celery-worker 进程结束掉，内存就会降下来。celery-worker 我是用 supervisor 去启动的。

django/celery-config 文件配置

worker_cOncurrency= 6 celeryd_cOncurrency= 6 # 每个 worker 最多执行 10KB 任务被销毁， 可以防止内存泄露 worker_max_tasks_per_child = 40 # 单个任务的最大运行时间 task_time_limit = 30 * 60

supervisord/celry.ini

 directory=/data/code/prd/bolin/src command=/data/code/prd/bolin/env/bin/celery -A config worker --cOncurrency=6 -l INFO user=pyer autostart=true autorestart=true stopsignal=QUIT stopwaitsecs=60 stopasgroup=true killasgroup=true

Celery 的诡异问题，请大佬们看看

2021-05-08T08:14:29Z

项目采用 django （ v2.1.7 ）开发，用了 django-celery(v3.3.1)做异步

celery 配置如下

import djcelery djcelery.setup_loader() BROKER_URL = 'redis://localhost/3' CELERY_RESULT_BACKEND = 'redis://localhost/4' CELERY_ENABLE_UTC = False CELERYD_COnCURRENCY= 20 CELERYD_MAX_TASKS_PER_CHILD = 4 CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler'

在执行异步任务的过程中，偶尔会出现任务卡住的情况，具体表现是任务并没有执行，但任务在一个小时后就会再次自动执行，等于是卡整整一个小时

卡任务的情况偶然出现，不规律

当任务卡住的时候，服务器上同时运行的任务并不多，少于 4 个，再次运行任务就能正常执行，查了好久不知道哪里的问题，有没有大佬可以说说排查思路？或者是遇到过类似的问题？

如何建立多个队列？

2013-07-08T03:16:26Z

目前我是用这个方法建立一个队列。。

celery multi start w5 -A celery_mx.saveimg --uid=website --gid=staff --workdir="/var/www/" --pidfile="/var/run/celeryd.pid" --logfile="/opt/log/celery/saveimg.log" --loglevel=info --cOncurrency=1

使用同样的方法再建立一个队列就会起冲突：w5 的队列里会出现 w4 里的任务。然后因为找不到执行方法而报错。。

两个不同的项目，如果新建两个互不干扰的队列呢？我是用 RabbitMQ 做后台支持。

用 Celery 问题颇多，翻看文档中。。

Celery + RabbitMQ 是最佳组合么？与 SQLAlchemy 相比有什么优势？

2012-03-16T17:33:58Z

rt 求教..

在考虑要不要在正在挖的坑里用这个东西.. 虽然用了很方便.. 但是还是想尽量减少配置的时候依赖的东西..