用 python 也写过类似的爬虫,开了多线程,运行速度和 js 写的有点差距 这是地址,欢迎大家试用! https://github.com/Card007/Proxy-Pool
![]() | 1 twotiger 2019-03-23 17:58:52 +08:00 提个建议,把 node_modules 忽略了 |
![]() | 3 orangeade 2019-03-23 18:12:00 +08:00 Android 主流方式都是 gevent 或者 asyncio,不见得会慢 |
![]() | 4 orangeade 2019-03-23 18:12:20 +08:00 android -> python 打错 |
![]() | 5 delectate 2019-03-23 18:18:49 +08:00 一般都是协程,实在不行多进程协程,跑满很轻松。就这点而言,不觉得 py 慢。 |
6 facat 2019-03-23 18:25:51 +08:00 via Android 爬虫的制约因素一般是网络 I/O,除非你在骨干网上跑爬虫,否则家里的宽带应该和 python 没区别。 |
![]() | 8 qianqlgz 2019-03-23 19:12:35 +08:00 怎么你们都会加链接,我不会,试了几次没成功 |
![]() | 12 tikazyq 2019-03-24 12:05:52 +08:00 via iPhone 已 star,最好有可以验证代理 IP 是否可用的逻辑 |