
我使用 redis 作为 celery 的 broker 和 backend,但是出现了这么一个问题,当 redis 挂掉之后,celery worker 节点就无法工作了,我在网上也查过 redis 的高可用方案,比如 redis sentinel,但是这种方式好像很难和 celery 结合起来。
大家有不有啥比较好的方法,求告知
1 bingxx 2017-05-27 10:28:15 +08:00 不知道 celery 是否支持 redis cluster。支持的话,可靠性会高很多。 |
2 julyclyde 2017-05-27 17:52:46 +08:00 别想太多 根本犯不上 |
3 resolvewang OP @bingxx redis cluster 目前 celery 官方没有支持,ask 在 issue2852 说了( https://github.com/celery/celery/issues/2852)。所以比较困惑 |
4 resolvewang OP @julyclyde 此话怎讲啊?我前段时间运行一个 celery 写的分布式爬虫,结果我的 redis 服务器挂了,所有抓取节点就相当于挂掉了。请问有啥方法能提高它的可用性吗? |
5 julyclyde 2017-06-01 22:30:13 +08:00 @resolvewang redis 足够简单,以至于很难挂了 redis cluster 很烂,近几年还是别费劲了 |