推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3004 天前的主题，其中的信息可能已经有所发展或是发生改变。
假设内容页文字和图片都有。
 | 1 cxbig 2017-07-25 05:50:28 +08:00 这么开放的问题叫人怎么回答… 哪个网站？什么工具？什么带宽？手上有多少 IP ？制约因素太多了… |
 | 2 binux 2017-07-25 06:29:02 +08:00 就我呆过的公司 10 分钟到 100 毫秒不等 |
 | 4 xiayibu OP 如果是拨号 VPS 这种，开进程会不会被封 |
 | 5 ericbize 2017-07-25 07:52:49 +08:00 via iPhone 上次 1 核 1g 的阿里云，单线程程序 爬了 10w 张几 k 的图 用了一晚上。 其实不用介意用了多久，只要程序没毛病，晚上一开白天醒来就差不多了。 |
 | 6 am241 2017-07-25 08:07:53 +08:00 via Android 爬福利，不想被封，也不想对目标站造成压力，爬了一晚上 |
 | 7 est 2017-07-25 08:39:20 +08:00 写爬虫不加上 sleep(5) 也敢号称分布式爬虫？ |
 | 8 caijihui11 2017-07-25 08:58:55 +08:00 怎么爬福利啊，透露下 |
 | 12 pcdRob 2017-07-25 09:12:22 +08:00 几分钟 |
 | 13 calpamomo 2017-07-25 09:41:48 +08:00 看网速 |
 | 14 jugelizi 2017-07-25 09:49:50 +08:00 10s 抓完 然后发现全是脏数据 |
 | 15 XiaoFaye 2017-07-25 09:54:13 +08:00 @faceair 百度的蜘蛛的速度我不怀疑，问题是人家的 Web Server 慢你也没办法是吧？本机 Ping 也要 0.0X 毫秒一次，一个 web 请求怎么也不会比这个快吧？ 100 毫秒 1 万个有点悬呀。 |
 | 17 ReisenZ 2017-07-25 10:48:37 +08:00 via Android 抓过漫画站…因为是自己看就慢慢抓了…几个小时吧… |
 | 18 xiaomacai 2017-07-25 10:54:17 +08:00 1s+，是不是可以 DDoS 了 |
| 19 xiayibu OP 几秒的那是爬取网页吗，跟攻击网站没有区别啊 |
 | 20 linus3389 2017-07-25 15:05:55 +08:00 ssd，或者 redis，下行 10m/s 不要眨眼哦 |
 | 21 4ever911 2017-07-25 15:23:54 +08:00 看大小吧， 我本机上写的程序， 抓股票数据，3000 多只股票，3 种时间数据， 算下来差不多 1w 个请求， 用 gevent，30 秒左右全部拿下来， 下载的数据打包有 200 多 mb， 我家 100MB 带宽。要是整个分布式的，那就更快了。 |
 | 23 WoodenRobot 2017-07-25 17:17:37 +08:00 @jugelizi 一开口就知道老江湖了。 |
Select Language