求公有云大数据服务推荐 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
kkfnui
V2EX    云计算

求公有云大数据服务推荐

  •  
  •   kkfnui 2018 年 3 月 5 日 3747 次点击
    这是一个创建于 2877 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现状

    目前产品的时间都是存在 mysql 中。 相同的日志保存在同一个库中,按天分表。 不同的日志就需要保存在不同的数据库实例中了。 每天新增日志 30G 左右。

    现在遇到了问题:

    1. 分库、分表在做数据分析的时候麻烦,影响写代码效率
    2. 磁盘空间不足。
      服务器磁盘只有 ssd 可选,的且空间上限是 200G。 每天就需要将历史的日志备份到亚马逊上面,要做长时间的日志分析,再从亚马逊还原回来。

    采用现有的模式肯定是走不下去了,考虑要迁移到大数据平台。

    1. 自己搭建
    2. 使用公有云

    由于现有团队没有大数据平台搭建和维护的经验,主要考虑使用公有云。

    公有云

    目前对大数据平台的需要主要是集中在存储和数据分析上。 这块使用经验匮乏,不知道其中会存在什么坑?向大家请教下!

    目前想到的几个点:

    1. 服务可用性
    2. 数据安全性
    3. 服务资费

    跪求有经验的老司机分享下。

    8 条回复    2018-03-05 15:10:30 +08:00
    opengps
        1
    opengps  
       2018 年 3 月 5 日
    收藏坐等,同样关注中。。。
    我们的数据也是每天不少,但是依然使用传统分库分表分区应付阶段
    fredcc
        2
    fredcc  
       2018 年 3 月 5 日   1
    既然是现有日志都在 AWS 上,如果日志是结构化的,那么直接使用 redshift 就很方便啊。可以继续使用 jdbc 分析,日增量 30G 很小。
    imstand
        3
    imstand  
       2018 年 3 月 5 日 via iPhone   1
    Google 的 Bigquery
    leofml
        4
    leofml  
       2018 年 3 月 5 日   1
    如果使用青云的话, 存储可以使用对象存储 QingStor, 数据分析可以使用数据仓库 HashData.
    参考入门指南 http://docs.hashdata.cn/getting-started-guide/hashdata_warehouse_guide.html
    zhchyu999
        5
    zhchyu999  
       2018 年 3 月 5 日   1
    七牛也有基于 ES 的大数据。需要联系开通。不过上云容易,下云难
    fredcc
        6
    fredcc  
       2018 年 3 月 5 日   1
    1、可用性:托管服务,有完整的自动快照等备份能力,基本不用担心。SLA 可以看下文档
    2、安全性:指数据丢失还是数据加密?
    3、资费以美东区一年计算,单个 DC2.large 是 2190 美元,购买一年 RI 可以 6 折。可用存储 160GB,标准 nginx 日志压缩率在 1:0.4 左右,可以看下能否满足需要
    imstand
        7
    imstand  
       2018 年 3 月 5 日   1
    服务可用性
    https://cloud.google.com/bigquery/sla
    数据安全性
    https://cloud.google.com/security/
    服务资费
    存储 0.02USD/G/月,查询 5USD/T

    总结,在所有 OLTP 服务中最省时省力省钱的产品。
    kkfnui
        8
    kkfnui  
    OP
       2018 年 3 月 5 日
    @fredcc
    安全性考虑的是数据丢失。
    亚马逊没有这样的顾虑。

    但是其他的一些云,不知道怎么样。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2636 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 15:28 PVG 23:28 LAX 07:28 JFK 10:28
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86