这是一个创建于 524 天前的主题，其中的信息可能已经有所发展或是发生改变。
类似于这种网站，明显是把所有数据都爬了下来
如果只是普通的爬虫的话，上千万个页面岂不是要爬到死？ 还是说他们是 N 台机器一起爬？
我从没碰过爬虫，所以想在这里问一问，知道 V 站大神多，谢谢各位啦
 | 1 EsWann 2024-06-25 03:03:39 +08:00  1 都是集群爬虫啊 |
 | 2 Solix 2024-06-25 08:56:28 +08:00 via iPhone 1 无头浏览器，虚拟机等等 |
 | 3 justfun 2024-06-25 10:10:31 +08:00 爬虫会涉及到法律问题 听别人说是买的官方数据 |
 | 4 JustZzer 2024-06-25 10:59:20 +08:00 爬虫做的，相对购买数据爬虫成本低，除了榜单和热销数据，其他的适当控制请求量级即可 |
Select Language