推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 2295 天前的主题，其中的信息可能已经有所发展或是发生改变。
1.获取 cookies:
使用 selenium 打开 chrome 访问天猫登陆界面，接着扫码登陆并保存 cookies，
2.使用 cookies:
再用 selenium 打开一个 chrome 访问天猫登陆界面，给 driver 添加刚才保存的 cookies，此时再访问某个商品界面时还会要求登陆
这两步间隔比较短，cookies 应该没有过期
求问，为什么 cookies 没有效果 /哭
使用 selenium 打开 chrome 访问天猫登陆界面，接着扫码登陆并保存 cookies，
2.使用 cookies:
再用 selenium 打开一个 chrome 访问天猫登陆界面，给 driver 添加刚才保存的 cookies，此时再访问某个商品界面时还会要求登陆
这两步间隔比较短，cookies 应该没有过期
求问，为什么 cookies 没有效果 /哭
 | 1 cxbanana 2019-07-02 11:16:54 +08:00 因为天猫对 selenium 有指纹信息识别，可以尝试捕获下天猫发送过来的 js 文件，修改检测代码，拦截替换下…… |
 | 2 youxiachai 2019-07-02 11:17:05 +08:00 天猫的防爬很先进的..... 你这个模型太简单了...一下下就被设别了.. |
 | 3 zr8657 2019-07-02 11:17:44 +08:00 天猫 cookie 很多的，你确定你添加全了吗，你都用 selenium 了直接登陆完开爬不行吗，一个账号爬个 5、6 页大概就会出验证了 |
 | 4 selenium 已经被淘宝系产品防死了,目前暂时能解决的就是修改 window.navigator.webdriver |
 | 5 hoyixi 2019-07-02 11:26:18 +08:00 能请教下，爬这些电商爬来的数据，怎么变现？很好奇 |
 | 6 d5 2019-07-02 11:32:10 +08:00  1 可以考虑用测试框架来干这种事，比如在真机上用 airtest |
 | 8 misaka19000 2019-07-02 11:43:24 +08:00 via Android 试下 puppeter |
 | 9 di1012 2019-07-02 11:44:20 +08:00 其实你要是想搞到淘宝商品的数据，还不如直接爬一些做代购的公司的网站，人家用的是接口，还稳定 |
 | 10 lusi1990 2019-07-02 11:48:56 +08:00 换成 firefox， 或者使用 puppeteer 试试 https://www.jianshu.com/p/afdabf486b54(然后参考这个) |
 | 11 yanheqi 2019-07-02 15:23:24 +08:00 如果要抓 cnbeta 这种网站，能做到吗？ |
 | 12 annielong 2019-07-02 15:34:51 +08:00 天猫正常访问还时不时来个验证， |
 | 13 smallhaes OP 谢谢大家的回复, 果然用天猫作为练习太难了, /哭 没把握好难度. 实验室的师兄师姐推荐换个网站练习 3 楼说的是 OK 的, 可以登录后直接开爬, 不方便的地方是得显示浏览器界面. 如果不显示浏览器界面的话, 登录这块也是个大难点, 所以我才想着用 cookie 跳过登录,同时不再显示浏览器界面 同时也感谢其他小伙伴们提出的建议, 我会去尝试哒~ 再次感谢大家!! |
 | 14 LicV587 2019-07-02 16:32:34 +08:00 selenium 这种东西，理所当然的会被淘宝系封，连我挂 VPN 访问都会被封。淘宝系现在的体验是越来越差，所以都不要淘宝天猫了 |
 | 15 limuyan44 2019-07-02 16:35:46 +08:00 via Android 连正常访问都可能拦截何况是个爬虫入门都会写的 selenium。。。 |
 | 16 murmur 2019-07-02 16:39:40 +08:00 我怀疑淘宝已经走火入魔，现在调试工具已经开始请求 webmidi 这种正常需求不可能用到的技术了，我怀疑是他在枚举当前浏览器支持的是所有技术，来判断你是正常的 chrome 还是在 headless 里 |
 | 17 2805408253 2019-07-02 17:43:12 +08:00 说白就是技术检测 加 行为规则验证。 技术检测就不说了 行为规则：比如正常人浏览一种商品的一页数据，最低也要超过 1 秒钟（极限啊 CAC ）。你搞的爬虫一秒钟上百个页面，当然过不了。（行为规则库还是很强大的） |
 | 18 Meli55a 2019-07-02 23:07:38 +08:00 别说是爬虫，正常人点都会出现这种验证，搜索几下就让爷休息，疯了 |
 | 19 wongyusing 2019-07-06 23:05:09 +08:00 selenium 基本上是没有办法爬取阿里系的网站的 他们会检查你的浏览器的 webdriver 是否为 True。 即使绕过了这个检测，还有各种各样的 js 行为检测 |
Select Language