推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 2460 天前的主题，其中的信息可能已经有所发展或是发生改变。
 | 1 ranlele OP 有大佬吗 |
| 2 ranlele OP 没大佬们遇到这种问题吗 |
 | 3 meik2333 2019-01-21 16:47:54 +08:00 via Android 突然全部连接超时，情况有很多的啊。可能是触发网站防火墙了，可能你网络波动了，可能对方网站突然 GG 了。 你可以考虑贴个报错信息出来。 |
| 4 ranlele OP 我爬取很多个不同网站，不只是一个网站。同时都是连接超时、 |
 | 5 15399905591 2019-01-22 10:41:18 +08:00  1 你是不是推送了太多请求队列了，scrapy-splash 是异步的，它的超时计算是按你发起的请求时间就计算的，比如你发起 1W 个请求， 超时时间 10S，当处理到 1000 条时已经达到了 10S，那后面 9000 条全部会返回 timeout |
| 6 ranlele OP @15399905591 有没有什么解决办法啊。 |
| 7 15399905591 2019-01-23 18:15:00 +08:00 1 控制频率啊，或者添加多个 scrapy-splash 做个负载均衡，然后调整一下你的 scrapy-splash 配置。 |
| 8 ranlele OP @15399905591 就是每一个 spider 都各自配一个 scrapy-splash 吗。假如各自都配一个还是连接超时的话。有没有办法让一个 spider 使用多个 scrapy-splash。在配置的时候不都是在 settings 里面加一个端口号么 |
| 9 15399905591 2019-01-24 09:28:46 +08:00 你可以考虑配置一个 scrapy-splash+haproxy 搭建一个集群就行了。但是还是看你的频率，如果频率过高的话，使用 scrapy-splash 其实并不合适。你应该考虑直接研究具体的请求。 |
| 10 ranlele OP @15399905591 这个频率大概是多少啊 可以自己设置吗。 |
 | 11 ranlele OP @15399905591 如果全部都超时了，只能重启系统吗？ |
| 12 15399905591 2019-01-24 17:05:33 +08:00 @ranlele 你现在的请求量是多大呢？ 超时了只是因为推送请求的效率大于处理请求的效率，你把速度降下来，等堆积的任务处理完就好了啊 |
Select Language