推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3613 天前的主题，其中的信息可能已经有所发展或是发生改变。
因为朋友是做民航的，希望能够看到未来几天内某个航段的价格情况。
就写了个爬虫，打算从协程爬取数据，因为本来我是刚接触爬虫这个东西，所以基本算是不懂了。
楼主使用的是 selenium 进行数据的爬取，代码在这里
协程的每个页面的数据需要进行下拉才能将数据显示完全。
我在办公室（网速有点慢吧，但是页面能够流畅的打开，并且我增加了 js 交互后的 sleep 时间）运行这段代码，基本上崩溃。。。看错误信息，基本上就是 WebElement 找不到（难道睡 10 秒都不够吗？）
但是，在家里，都能爬取成功。
不明所以，希望和 v 友讨论讨论。。
还有，向请教：正确的爬虫姿势是怎样的？
 | 1 jugelizi 2015-11-21 18:13:45 +08:00 为什么不直接抓 js 请求的数据 |
 | 2 knightdf 2015-11-21 18:40:19 +08:00 selenium 慢的一比。。。你还不如抓下他 ajax 的接口 |
 | 4 XianZaiZhuCe 2015-11-21 18:45:07 +08:00 via Android 携程的数据不行，抓航旅的 |
 | 5 lostsnow 2015-11-21 20:36:43 +08:00 scrapy |
 | 6 coolzilj 2015-11-22 23:41:51 +08:00 https://www.apifier.com/ 爬虫新姿势 |
Select Language