推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3811 天前的主题，其中的信息可能已经有所发展或是发生改变。
我司有好几个proxy可以用，但是都不太稳定。
我想的就是假设有n个Proxy，在爬取失败的时候首先自己重试3次。如果重试失败就切换到下一个proxy。如果成功就继续使用当前的proxy，如果失败就一直切换代理直到没有可用的代理。如果最终还是失败了，就以某种方式记录一下，下次重新爬一遍。
不知道我的想法在scrapy之中如何实现？
如果有例子代码就更好了~
最终目的就是保证目标url能被正确的爬出结果。如果有其他更好的解决方案也麻烦说一下~
多谢！
我想的就是假设有n个Proxy，在爬取失败的时候首先自己重试3次。如果重试失败就切换到下一个proxy。如果成功就继续使用当前的proxy，如果失败就一直切换代理直到没有可用的代理。如果最终还是失败了，就以某种方式记录一下，下次重新爬一遍。
不知道我的想法在scrapy之中如何实现？
如果有例子代码就更好了~
最终目的就是保证目标url能被正确的爬出结果。如果有其他更好的解决方案也麻烦说一下~
多谢！
 | 1 AlloVince 2015-05-07 11:21:31 +08:00  1 |
 | 2 RangerWolf OP @AlloVince 非常感谢！正是我需要的！ |
 | 3 bengtuo 2015-05-07 11:48:17 +08:00 Scrapy 还是不够好 |
| 4 bengtuo 2015-05-07 11:48:27 +08:00 要写 太多的代码 |
 | 5 zts1993 2015-05-07 12:08:24 +08:00 写一个DOWNLOADER_MIDDLEWARES |
 | 6 binux 2015-05-07 12:13:04 +08:00 squid |
| 7 RangerWolf OP @binux 还得自己维护一个squid就太繁重了 |
| 8 RangerWolf OP @bengtuo 那有什么推荐的吗？ 要写的代码多一点没什么，重要的是能有解决方案。 如果能在网上找到相应的解决方案的代码就更好了 |
 | 9 messense 2015-05-07 16:35:37 +08:00 1 我用的修改自 scrapy-proxies 的 RetryMiddleware，禁用 Scrapy 自带的 RetryMiddleware https://github.com/messense/douappbook/blob/master/douappbook/middlewares.py#L10 |
 | 10 ultimate010 2015-05-09 10:01:09 +08:00 1 我以前就是把代理ip存到redis中，每次抓取查询换ip，封装下使用很方便。 |
Select Language