这是一个创建于 3952 天前的主题，其中的信息可能已经有所发展或是发生改变。
针对类似如下网站，http://app.zjepb.gov.cn:8089/nbjcsj/
1. 按照规定的数据库表的格式，将基础数据和每小时的实时数据内容爬取下来存入数据库,其中初始阶段应将所有可能的历史数据保存。
算法要求：
1，从之前向现在的时间取爬取，这样如果因为网络等原因断开后，再次开始时，能自动从更早的时间点开始爬取。
2. 如果超时，至少要有3次重试。再超时，或者发生错误时，能发送邮件给指定人。
3. 性能：内存不能超过300M， CPU使用率不能超过30%，数据库链接数需控制在5个以内。
4. 数据库：已设计好，使用postgresql.
5. 任务调度：需使用celery。
因为需爬取的各类资源比较多，因此希望尽可能长期合作。
1. 按照规定的数据库表的格式，将基础数据和每小时的实时数据内容爬取下来存入数据库,其中初始阶段应将所有可能的历史数据保存。
算法要求：
1，从之前向现在的时间取爬取，这样如果因为网络等原因断开后，再次开始时，能自动从更早的时间点开始爬取。
2. 如果超时，至少要有3次重试。再超时，或者发生错误时，能发送邮件给指定人。
3. 性能：内存不能超过300M， CPU使用率不能超过30%，数据库链接数需控制在5个以内。
4. 数据库：已设计好，使用postgresql.
5. 任务调度：需使用celery。
因为需爬取的各类资源比较多，因此希望尽可能长期合作。
 | 1 cloudzhou 2014-12-19 10:15:52 +08:00  1 这个我比较擅长 :-) |
 | 2 mutoulbj 2014-12-19 11:08:31 +08:00 这个可以有 |
 | 4 keenturbo 2014-12-19 11:21:47 +08:00 支持一下 |
 | 5 zhkzyth 2014-12-19 11:29:58 +08:00 还有这样的活~~=.= |
 | 7 iewgnaw 2014-12-19 16:11:51 +08:00 你这不是要数据，是要程序啊。写完了，合作就完了？ |
 | 8 ming2050 2014-12-19 16:15:41 +08:00 via Android 这叫兼职？ |
 | 9 fooevr 2014-12-19 16:16:58 +08:00 CPU使用率不能超过30%这个要求很奇怪 |
 | 10 9999999999999999 2014-12-19 16:18:22 +08:00 @fooevr 估计是他要跑三个实例， |
| 11 fooevr 2014-12-19 16:25:03 +08:00 @9999999999999999 我不是说对CPU有限制奇怪, 而是什么级别的CPU呢? |
 | 12 wibile 2014-12-19 16:39:36 +08:00 这种要求还需要用celery？？？ |
 | 13 icedx 2014-12-19 16:43:34 +08:00 via Android 我怎么觉得这个似乎发过一次 |
 | 14 wangfeng3769 2014-12-19 17:28:21 +08:00 个人表示很可以吧 |
| 15 9999999999999999 2014-12-19 18:38:48 +08:00 @fooevr 不管什么级别的ＣＰＵ啊。 打个比喻： 我雇佣工人做事情，我一共有１００元，我需要雇佣三个工人，当然给每个工人的报酬不能超过３０元。 |
| 16 fooevr 2014-12-20 00:50:09 +08:00 1 @9999999999999999 恩 我知道你说的是人民币. |
 | 18 R4rvZ6agNVWr56V0 2014-12-21 15:43:21 +08:00 这哪是兼职啊。。。 要么叫做长期项目，要么叫做remote |
 | 19 RangerWolf 2014-12-21 17:53:26 +08:00 @icedx 你的感觉是对的 这个帖子跟之前的内容完全一致 |
| 20 wangfeng3769 2014-12-21 20:04:33 +08:00 这个项目估算一下价格，看看需要多少钱。 |
 | 21 yongjiu236z 2016-12-11 00:34:32 +08:00 |
Select Language