这是一个创建于 4445 天前的主题，其中的信息可能已经有所发展或是发生改变。
是这样的
要登陆某网站才可以抓数据
主要是他的登陆算法，无法破解，而且就算破解了，他也是一天一变 ，几个小时变化一次
所以我完全放弃破解他的算法的想法
如果我模拟浏览器登陆的话，只需要让浏览器自动填写表单，登陆即可，
之前用的qt c++开发的，用的webkit 做浏览器，然后 登陆，获取内容，然后进行操作
现在换python， 于是我用pyqt来做浏览器 辅助我获取数据，但这样的话，好累赘
有没有轻一点的框架 可以替代我的浏览器
不晓得我描述清楚了没
求大家帮助
要登陆某网站才可以抓数据
主要是他的登陆算法，无法破解，而且就算破解了，他也是一天一变 ，几个小时变化一次
所以我完全放弃破解他的算法的想法
如果我模拟浏览器登陆的话，只需要让浏览器自动填写表单，登陆即可，
之前用的qt c++开发的，用的webkit 做浏览器，然后 登陆，获取内容，然后进行操作
现在换python， 于是我用pyqt来做浏览器 辅助我获取数据，但这样的话，好累赘
有没有轻一点的框架 可以替代我的浏览器
不晓得我描述清楚了没
求大家帮助
 | 1 imom0 2013 年 12 月 29 日  1 把登录了的cookies导出行么，然后给爬虫用。 |
 | 2 Kjuly 2013 年 12 月 29 日 1 mechanize 或者 selenium |
 | 3 kevinroot 2013 年 12 月 29 日 1 requests不行？是有验证码？ |
 | 4 geeklian 2013 年 12 月 29 日 via iPad 1 想起来曾经单位内部网站上抓取数据，.net，的post请求里的一堆东西不知道干啥的。python抓不下来，结果我换的autoit+ie8...直接模拟鼠标键盘操作了。 |
 | 5 fdsfsdfsdf3334 OP @imom0 软件需要长期在服务器上运行，cookies 3天过期 |
| 6 fdsfsdfsdf3334 OP @kevinroot 没有验证码，但不排除以后他可能增加验证码 |
| 7 fdsfsdfsdf3334 OP @Kjuly 哦 谢谢 我研究下 |
 | 8 airyland 2013 年 12 月 30 日 1 为了对付某站验证码在用的采集方法： NodeJS + socket.io + phantomjs 1.建socket服务端 2.phantomjs 打开目标网站，执行表单填写，如果有验证码，则render一张图，调用stdin来手工输入验证码。在phantomjs里每隔一段时间执行get页面操作保持会话。与服务端建立socket连接 3.用NodeJS或者浏览器端Javascript连接到socket服务端并发送采集请求，phantomjs里面收到请求并获取数据发送到客户端 done... |
| 9 fdsfsdfsdf3334 OP @airyland 3Q |
 | 11 Stile 2013 年 12 月 30 日 来个投机取巧的，这网站有手机版的么？有的话直接模拟手机不得了，改下UA就好，想咋弄咋弄！ |
| 12 fdsfsdfsdf3334 OP 木有手机版的 @Stile |
| 13 Stile 2013 年 12 月 30 日 @fdsfsdfsdf3334 地址呢？我换UA试试。。嘿嘿 好奇中 |
 | 14 fdsfsdfsdf3334 OP @Stile 淘宝 |
| 15 Stile 2014 年 1 月 1 日 @fdsfsdfsdf3334 淘宝啊 ，你是想编辑商品？那用淘宝助理就可以了，没必要抓来抓去的。。。 |
| 16 Stile 2014 年 1 月 1 日 @fdsfsdfsdf3334 淘宝也有手机版的啊，你可以登录 m.taobao.com 试试 |
 | 17 ibopo 2016 年 12 月 19 日 scrapy-js |
Select Language