推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 2709 天前的主题，其中的信息可能已经有所发展或是发生改变。
http://search.anccnet.com/searchResult2.aspx 就平时自己在浏览点击差不多 10 次(相隔比较短时间内)就已经 401 了. 自己用 scrapy 爬取的时候,30 页,差不多 300 多条数据的爬取,只能获取到二十条数据. 想问这种网站爬取的话思路是怎样, 目前通过验证,用的一些免费代理的 ip 池
 | 1 Le4fun 2018-07-04 16:37:20 +08:00 验证码过了么 |
 | 3 crab 2018-07-04 16:49:51 +08:00 要稳定，租一台动态 adsl 拨号的 vps 换 IP 爬吧。 |
 | 4 @crab 老哥推荐个靠谱的厂商，买过的有问题，拨号那会儿偶尔断网，感觉是厂商服务不稳定导致的.... |
 | 6 magicfam OP @crawl3r 我还没会那种,我的方法是里面 js 发送的一个 check_ok.再用更新头部的 cookie...这样就算是通过验证,不知道这个会有影响不.. 还是想大伙如果爬这个网站会有怎样的思路 |
| 7 magicfam OP 现在用 scrapy.也不知道什么问题.爬着爬着就没了...也没报错 |
 | 8 nccer 2018-07-04 17:46:39 +08:00 有个叫阿布云的 HTTP 代理商蛮好用的。 |
 | 9 beforeuwait 2018-07-05 11:37:50 +08:00 同 8 楼 |
 | 10 sml2h3 2018-12-20 11:24:22 +08:00 https://github.com/sml2h3/luosimao_cracker 不谢，螺丝帽点击验证码代码层的破解，不用总是复制 cookies |
Select Language