推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 2788 天前的主题，其中的信息可能已经有所发展或是发生改变。
先放github 地址。
抓取方式：
-
-
模拟登陆微信公众号平台，借此获取需要爬取公众号文章的 url
-
通过
mitmproxy手机抓包，得到appmsgtoken和cookie，爬取文章的阅读数、点赞数及评论信息
-
-
不使用模拟登陆，用抓包工具获取相关参数后，直接抓取
有以下问题：
-
不知道如何使用
python在shell中显示获取到的二维码，目前使用的方式是用matplotlib和PIL显示。 -
获取微信公众号文章的时候，一次性不能爬取太多，一次最多貌似只能有 30、40 条。
-
API 设计上可能存在问题
以上，望大佬轻喷，提出意见
 | 1 magicO 2018-04-15 23:07:55 +08:00 via Android 反爬虫可以试试把包里的 agent 参数或者其他参数改变试试。如果是针对 ip 的话，那个人确实没啥办法。除非搞几台云服务器，(手动滑稽 |
 | 2 wnma3mz OP 针对 ip 还好说，微信公众号这边针对的是账号。。。。。 |
 | 3 xuyl 2018-04-16 10:15:19 +08:00 登陆公众号平台再抓，效率太低，还不是全自动化的，没人会用这种。 |
 | 5 pango 2018-04-16 10:37:40 +08:00 可以看看这个： https://github.com/lqqyt2423/wechat_spider 不过我没用过，据说很好用 |
 | 7 selector100 2018-05-07 18:50:08 +08:00 这样抓取效率不高，用万能 key 会高很多，但五月初微信还更新了万能 key 的一些细节，所以随时可能被封。有兴趣的看我知乎的回答好了： https://www.zhihu.com/question/26716409/answer/224332129 |
 | 8 wangluoshujupa 2019-06-27 15:50:32 +08:00 微信文章阅读点赞，评论，服务号、订阅号区分 +wx crawler888 |
Select Language