这是一个创建于 3866 天前的主题，其中的信息可能已经有所发展或是发生改变。
有个项目，需求是抓取http://epub.sipo.gov.cn/ 这个网站的全部公布的信息，根据我的经验，1小时抓取1万条网页，那全站的数据需要2个月不停才能抓完，而且存储这些数据需要很多的存储空间（因为有PDF所以共15T左右），如果租用阿里云服务器进行抓取的话，硬盘价格巨贵。那么问题来了，该项目报价3K。是否合理？
 | 1 publicID001 2015-05-29 18:49:31 +08:00 3K是开发和调试爬虫的费用吧？ |
 | 2 wenxiuzh 2015-05-30 00:44:46 +08:00 坑在验证码上， 如果发现爬虫就会出现验证码，爬虫识别不出验证码内容就卡在那里了，这种情况下1个小时1000条都困难，3k不多 |
 | 3 ansel 2015-05-30 09:45:50 +08:00 难道是广州的？最近有在接触这个类似的项目，整个系统也会需要用到你说的爬虫 |
 | 4 david500834 2015-05-31 09:09:18 +08:00 3k开什么玩笑......骗大学生呢 |
 | 5 professorz OP @publicID001 嗯，说是硬件费用另算 |
| 6 professorz OP @david500834 唔。。也是觉得有点少 |
 | 7 dai269619118 2015-05-31 16:31:07 +08:00 呵呵 就出3000 硬件也初步了多少钱 |
 | 8 22too 2015-05-31 20:08:17 +08:00 还不如你知直接打电话给那个公司，让给你拷贝一份算了，这玩意写程序爬到什么时候了，能动嘴就不要写代码 |
| 9 professorz OP @22too 我问过提需求的人，他说买不起，要买得起不会爬的。那是他老东家，政府机构。 |
 | 10 dallaslu 2015-06-02 19:11:03 +08:00 版权所有：国家知识产权局（未经许可不得复制） |
 | 11 chinabrowser 2015-06-10 00:36:10 +08:00 via Android 反向代理解决问题 需要资源的时候再去抓 |
Select Language