推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
我正在写一个爬虫（gevent+requests+redis-py），出现了一些问题，看看各位有啥好的解决方案没？
penkchow 2014-06-05 11:12:30 +08:00 6251 次点击这是一个创建于 4151 天前的主题，其中的信息可能已经有所发展或是发生改变。
我的爬虫大致思想的是这样的，我想爬取某些列表页面上所有的列表url，有很多页，我遍历这些页面，然后抓去这些页面上的内容，当某个页面请求出错的时候，我就将它保存到一个数据库，下次从这个数据库里面把错误的取出来，然后再处理，这样一直循环，直到所有的都被处理完。不多说了，直接代码吧（更详细的问题描述见代码的注释）：
不知道各位对我这段代码有什么看法，或者吐槽也行，自己找了一些相关资料，成效不大。
不知道各位对我这段代码有什么看法，或者吐槽也行，自己找了一些相关资料，成效不大。
 | 1 jander 2014-06-05 11:34:16 +08:00 应该加上 from gevent import monkey; monkey.patch_socket() |
 | 2 penkchow OP |
| 3 jander 2014-06-05 12:10:45 +08:00 哦，没看仔细。 redis连接异常。你的代码使用redis.ConnectionPool, 其实redis可以直接连，内部已经使用pool实现： redis.StrictRedis(host='localhost', port=6379, db=0) 你可以直接连试试。 |
 | 4 jsonline 2014-06-05 12:11:47 +08:00 每个月都有一个人来问爬虫的问题。 |
1 | 10 penkchow OP Okay，试试。 |
Select Language