推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 4173 天前的主题，其中的信息可能已经有所发展或是发生改变。
用了网上的 python 非API方式 模拟登录新浪微薄 的代码，登录成功后抓取 微薄个人页面信息。
登录代码： https://github.com/yoyzhou/weibo_login/blob/master/weibo_login.py
同样的一个微薄页面，用urllib2的方式抓取一点问题都没，如果用tornado.httpclient.HTTPClient().fetch(url)的方式抓取就会跳转到注册界面，而且始终登录不成功，何解？
注：
如果是urllib2方式的话所有页面都能抓取成功；
tornado httpclient的方式只是部分页面会跳转到注册地址，还是有些页面可以成功抓取的。
登录代码： https://github.com/yoyzhou/weibo_login/blob/master/weibo_login.py
同样的一个微薄页面，用urllib2的方式抓取一点问题都没，如果用tornado.httpclient.HTTPClient().fetch(url)的方式抓取就会跳转到注册界面，而且始终登录不成功，何解？
注：
如果是urllib2方式的话所有页面都能抓取成功；
tornado httpclient的方式只是部分页面会跳转到注册地址，还是有些页面可以成功抓取的。
 | 1 maga 2014-05-17 00:27:58 +08:00 为什么一定要用tornado.httpclient？ |
 | 2 binux 2014-05-17 00:39:20 +08:00 |
 | 3 wushuang OP @maga 因为我web框架就用的tornado，其他的懒得折腾了，哈哈，然后我看网上有Toro这个玩意儿，跟tonado配合好像还行，就试试看效果如何。 |
| 5 wushuang OP @binux 我感觉是cookies的问题，但是不知道怎么处理，我把代码贴到了这里http://segmentfault.com/q/1010000000510093 ，麻烦帮看下，谢谢！ |
 | 6 pyshift 2014-05-17 23:43:33 +08:00 我感觉还是cookie的问题，com端的cookie很蛋疼，而且你抓包会发现还是会返回一个cn端的cookie值，如果没有硬性的去抓取com端，推荐还是去cn端抓吧，还能避开unicode转换编码。。 |
Select Language