推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
如何控制 scrapy 的 downloader 的并发量为 1（即 Requests 请求类似串行的效果）
Zioyi 2017-05-28 09:43:19 +08:00 4118 次点击这是一个创建于 3062 天前的主题，其中的信息可能已经有所发展或是发生改变。
4 条回复 2017-06-05 17:01:47 +08:00
 | 1 Yc1992 2017-05-28 11:49:31 +08:00 current_request settings 里面的这个选项设置的为 1 |
 | 2 Zioyi OP 感谢， 我试过了，没有打达到我的预期，难道是因为我自己写了 下载器中间件的缘故。 |
 | 3 wingor 2017-06-05 17:01:31 +08:00 CONCURRENT_REQUESTS Default: 16 The maximum number of concurrent (ie. simultaneous) requests that will be performed by the Scrapy downloader. |
| 4 wingor 2017-06-05 17:01:47 +08:00 |
Select Language