推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
celery 和 gunicorn 的不同 pool 模式,我测下来 sync 性能最好
wuwukai007 2023-01-18 15:24:12 +08:00 2401 次点击这是一个创建于 1071 天前的主题，其中的信息可能已经有所发展或是发生改变。
- 起先是线上把 gevent 改成 sync 性能提高了 60%，线上任务主要是 数据库查询和接口请求 io 任务
- 所有数据库查询是 django ORM 和 python-elasticsearch
- 启动方式:
celery -A app worker -Q xxx -P gevent -c 30 celery -A app worker -Q xxx -c 8 celery -A app worker -Q xxx -c 30 -P threads gunicorn app -k gevent -w 8 --worker-cOnnections=200 gunicorn app -k gthread -w 4 --threads=20 gunicorn app -k sync -w 8 比较纳闷常识是 io 任务用 gevent 处于好奇，本地模拟了下简单的 celery io 任务 celery 任务里，本地模拟了个 task ，锁 id mysql 查询一条数据 分别用 gevent ，sync ，threads 结果是 sync > threads > gevent sync 和 threads 性能差别不大，gevent 只有前两个的 60%不到 - gunicorn 也是，简单的锁 id 接口，sync > threads > gevent
 | 1 simple2025 2023-01-18 15:30:10 +08:00 gevent 是为了应对高并发吧, 一般没有高并发肯定是把进程当线程用最爽 |
 | 2 mayli 2023-05-06 04:45:50 +08:00 via Android 你的 mysql 部分会不会跟 Gevent 不兼容？ |
Select Language