阿里云租几台机器做采集,有现成调度方案吗? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xiyangyang
V2EX    服务器

阿里云租几台机器做采集,有现成调度方案吗?

  •  
  •   xiyangyang 2016-06-26 13:11:19 +08:00 4382 次点击
    这是一个创建于 3468 天前的主题,其中的信息可能已经有所发展或是发生改变。
    div class="topic_content">

    打算租几台阿里云的服务器采集数据,好处是:多 IP ,带宽有保证。 如果抓取的网站封 IP ,限时间,就再开一台云服务器。 不知道有没有一个动态调度的方案,发现 IP 被封了,再开一台服务器获得新 IP ,再抓取。阿里云提供接口做这个吗?

    18 条回复    2016-06-26 23:00:19 +08:00
    fcicq
        1
    fcicq  
       2016-06-26 14:23:12 +08:00
    封到 /16 的 block 的话就抓瞎了, 明摆着人家能看到你是租的
    l0wkey
        2
    l0wkey  
       2016-06-26 14:24:06 +08:00
    用弹性 IP
    ZGLHHH
        3
    ZGLHHH  
       2016-06-26 14:27:22 +08:00
    为什么不买拨号 VPS 呢
    rekulas
        4
    rekulas  
       2016-06-26 14:52:45 +08:00
    可以自己写脚本,封了自己申请 vps ,镜像复原

    但是还是没有代理来的方便便宜,直接购买代理多线程抓取,也不怕封价格也便宜
    lmaq
        5
    lmaq  
       2016-06-26 16:04:25 +08:00
    阿里云有 API
    crab
        6
    crab  
       2016-06-26 16:35:47 +08:00
    @rekulas 现在代理不管付费还是免费,大部分都是失效快响应慢。这种用带 ADSL 拨号的 VPS 是最合适的。
    odirus
        7
    odirus  
       2016-06-26 18:01:20 +08:00
    阿里的 API ? 反正我是挺讨厌的。

    但他有个弹性伸缩服务,能够定时伸缩服务器数量。制作好镜像,然后从镜像中安装系统

    但有个问题,他的最小时间粒度貌似是小时(前段时间验证的,现在不知道改没有)

    可以考虑一下国内其他的云,秒级调度 + 弹性伸缩,不知道青云是不是?好奇,求解答
    aheadlead
        8
    aheadlead  
       2016-06-26 18:06:36 +08:00
    @odirus 青云是的
    boter
        9
    boter  
       2016-06-26 18:28:45 +08:00 via iPhone
    直接买袜子多好
    nine
        10
    nine  
       2016-06-26 18:35:14 +08:00
    tangzhehao
        11
    tangzhehao  
       2016-06-26 19:14:20 +08:00
    @odirus 有谁家可以纵向弹性伸缩么?也就是增配不增量。
    @aheadlead
    aheadlead
        12
    aheadlead  
       2016-06-26 19:28:44 +08:00
    @tangzhehao 这连个 VPS 都可以吧… 青云肯定是可以的
    zava
        13
    zava  
       2016-06-26 19:58:17 +08:00   1
    不用这么麻烦吧,直接买一些 http 代理,便宜量又足。当然可用率是要打点折扣的。
    我用过的几个比较靠谱的 http 代理:

    1. 快代理: http://www.kuaidaili.com/
    2. 中国 IP 代理: http://cn-proxy.com/
    3. 酷伯伯 HTTP 代理: http://www.coobobo.com

    另外,如果都使用阿里云的 IP 进行采集,也不一定是 100%可靠,具体就不细说了……
    tangzhehao
        14
    tangzhehao  
       2016-06-26 19:59:48 +08:00
    @aheadlead 不是,要自动的,就像弹性伸缩一样,譬如监控连报 3 次 CPU>85%,那就立马升配一核。
    TangMonk
        15
    TangMonk  
       2016-06-26 20:06:33 +08:00
    青云关机只收取硬盘费用,不做 web 服务,只做采集的话可以定时关机,还是挺划得来的
    odirus
        16
    odirus  
       2016-06-26 20:49:01 +08:00   1
    http://www.freeproxylists.net/zh/

    这个代理质量高很多,快代理那个质量。。。买过,不会再买了。
    aheadlead
        17
    aheadlead  
       2016-06-26 21:59:33 +08:00
    @tangzhehao 阿里云有个 ESS 可以动态加机器数量(横向扩展)
    貌似也是支持你想要的纵向扩展 你可以试着去看看

    其实这个不难写啊 如果只是临时用用的话 一个 python 脚本也就搞定了
    moult
        18
    moult  
       2016-06-26 23:00:19 +08:00
    腾讯云,后台有弹性 IP ,可以随时变 IP~~
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     919 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 32ms UTC 20:59 PVG 04:59 LAX 12:59 JFK 15:59
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86