推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3522 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近在爬一个网站，明显有反爬虫机制， 50 个 request 之后就变 500 internal error 。不换 ip 的话 4 ， 5 天都不能访问了。参考教程用了 tor+polipo ，情况好了点但依旧有 10%的 500 。我有试 errback 调用方法，但 errback 没有被触发。用什么方法能捕捉到 500 错误，并且在调用我的方法重启 tor 。
第 1 条附言 2016-04-23 05:09:25 +08:00
有人收藏这个话题，我的解决方案是在 setting 中添加 HTTPERROR_ALLOWED_CODES = [500]，这样可以捕捉 500 错误，当 response.status == 500 时，获取新的 identity 。
参考
http://blog.csdn.net/haipengdai/article/details/48526507
https://stem.torproject.org/faq.html#how-do-i-request-a-new-identity-from-tor
参考
http://blog.csdn.net/haipengdai/article/details/48526507
https://stem.torproject.org/faq.html#how-do-i-request-a-new-identity-from-tor
 | 1 d33n99 2016-04-22 03:33:07 +08:00 via iPhone  1 捕捉到 500 错误后并往 tor 的控制端口发送一个 new identity 命令 |
 | 4 knightdf 2016-04-22 08:55:12 +08:00 1 首先你得让 500 错误的 response 被返回 parse ，然后在做 status 检查，因为 scrapy 默认是会重试 5xx 并且不会触发 parse 的 |
| 5 d33n99 2016-04-22 17:52:13 +08:00 http://blog.csdn.net/haipengdai/article/details/48526507 不好意思,一开始没理解您 @lbfeng 的意思,没有用过 scrapy,不过这博文应该对你有帮助:-) |
 | 8 lbfeng OP @d33n99 出现另一个问题，当又第一个 500 之后重新得到 identity 。但 scrapy 有多个线程会发送多个请求导致 Rate limiting NEWNYM request: delaying by x second(s)。 |
Select Language