推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 2497 天前的主题，其中的信息可能已经有所发展或是发生改变。
多个起始 url 的时候，跑着突然 ip 被 ban 了，然后重新尝试该 url，因为爬取过会被记录，所以要设置dont_filter=true让起始 url 默认不去重。
但是 scrapy_redis 起始就是我推到 redis 队列里面的 url，怎么对这些 url 设置不去重呢？
 | 1 15399905591 2019 年 4 月 2 日 你再 start_requests 方法里面推送不就好了么。 |
 | 2 xiushenbuhuihui 2019 年 6 月 14 日 @luanguang 您好，我把我的问题给你详细描述一下，请您帮我解决一下。 |
| 3 xiushenbuhuihui 2019 年 6 月 14 日 @luanguang 用的是 crawlspider 爬取乐融商城全部的网站源代码 |
| 4 xiushenbuhuihui 2019 年 6 月 14 日 @luanguang 但是爬取到 这一页面时， |
Select Language