5T 的 MySQL 数据上云?如何做才能更好? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
chinafengzhao
V2EX    云计算

5T 的 MySQL 数据上云?如何做才能更好?

  •  
  •   chinafengzhao 2020-11-25 15:43:43 +08:00 5571 次点击
    这是一个创建于 1783 天前的主题,其中的信息可能已经有所发展或是发生改变。
    由于架构和历史原因,公司在本地机房部署 MySQL 做数据仓库,主要是 OLAP 的业务,跑存储过程和 ETL 做数据清洗。单实例建的 MySQL,里面各种中文表名和各种大宽表(建表和索引也没有完全符合 OLTP 的最佳实践),数据量日积月累,现在有 100 多个 schema,单实例数据量差不多有 5T 了,运维起来非常吃力。现在公司准备上云,估计还是这套架构。
    33 条回复    2020-12-10 11:25:18 +08:00
    snail00
        1
    snail00  
       2020-11-25 15:55:18 +08:00
    有 5t 的数据量, 其他周边服务应该也要陆续上云, 最简单的就是联系云厂商会有专人对接出方案的.
    cccp2020
        2
    cccp2020  
       2020-11-25 16:00:57 +08:00
    买云服务器,然后买 rds 什么的,发工单就行,大客户他们有专人解决,你可以看看我的历史帖子,有优惠券的购买 rds
    opengps
        3
    opengps  
       2020-11-25 16:01:55 +08:00 via Android   2
    快递硬盘
    mitsuhasanye
        4
    mitsuhasanye  
       2020-11-25 16:03:05 +08:00   1
    让乙方出方案更保险,肯定不止你一家有过这么多数据
    iphoneXr
        5
    iphoneXr  
       2020-11-25 16:55:30 +08:00   1
    买阿里云 polardb 吧,兼容 mysql,不用去管存储空间用量了。
    chinafengzhao
        6
    chinafengzhao  
    OP
       2020-11-25 17:03:14 +08:00
    @iphoneXr 完全兼容吗?这个主要是 OLAP 业务,跑各种存储过程。polardb 太贵了啊
    mahone3297
        7
    mahone3297  
       2020-11-25 17:06:38 +08:00
    @iphoneXr 请教下, polardb,rds,oceanbase 的区别是什么?
    buaacss
        8
    buaacss  
       2020-11-25 17:07:12 +08:00
    做一个点对点 vpn 连到本地机房,然后做一个 dts 把数据全量同步过去,并设置增量同步,最后切 dns 同时把老数据库上的账号都设置为只读
    chinafengzhao
        9
    chinafengzhao  
    OP
       2020-11-25 17:08:47 +08:00
    @iphoneXr 我也想用 polardb,不想折腾那么多,但是我们本地资源就实在是太贵了
    orclcast
        10
    orclcast  
       2020-11-25 17:50:17 +08:00
    走线下吧
    iphoneXr
        11
    iphoneXr  
       2020-11-25 19:53:32 +08:00 via iPhone
    @chinafengzhao 先看好不好使,贵不贵的问题有办法解决,一次性买 3 到 5 年,再走个代理商回扣啥的,算下来很便宜。自己用 ecs 来搭建那种双节点也差不多价钱,不贵的。
    第二个 配合 dms 做数据库管理,das 做数据库优化监控(自动限流、索引创建删除、扩容节点等),dts 做数据同步等
    iphoneXr
        12
    iphoneXr  
       2020-11-25 19:54:18 +08:00 via iPhone
    @mahone3297 我觉得没啥区别,感觉更像迭代产品的关系
    dynastysea
        13
    dynastysea  
       2020-11-25 20:02:58 +08:00
    @iphoneXr 区别大了啊,这几个形态完全不同。polardb 是基于共享存储方案的,可以快速扩容 ro 节点。rds 更接近原生 mysql 。这两者都是 100%兼容 mysql 。ob 是分布式数据库,完全自研,只能说兼容绝大多数 mysql,主要场景争对金融级数据库,一般的应用不适合
    ifuture
        14
    ifuture  
       2020-11-25 20:10:33 +08:00
    分而治之呗,100 个 schema,单个 schema 也就不大了,一个一个迁移,迁移以后,再把迁移期间原来系统的数据增量同步过去
    iphoneXr
        15
    iphoneXr  
       2020-11-25 20:12:22 +08:00 via iPhone
    @dynastysea 哈哈哈 我承认我对第二个问题有点张口就来了。不过我当时想的是对于 java 程序来说,没区别。所以我还是坚持我的说法。
    springz
        16
    springz  
       2020-11-25 20:28:59 +08:00
    为什么没人推荐 TiDB,推荐下。
    springz
        17
    springz  
       2020-11-25 20:30:06 +08:00
    TiDB 还有 TiFlash 和 TiSpark,OLAP 场景多合适。
    xuanbg
        18
    xuanbg  
       2020-11-25 20:32:08 +08:00
    阿里云有个数据迁移工具的,配好了让它跑就行了。5T 跑个 10 来天总能跑完的吧。
    dynastysea
        19
    dynastysea  
       2020-11-25 20:43:46 +08:00
    @xuanbg 哈哈,你是看不起阿里云? 5T 这么点数据量都要跑 10 天?
    threeEggs123
        20
    threeEggs123  
       2020-11-25 21:04:08 +08:00 via Android
    aws snowball
    brendanliu
        21
    brendanliu  
       2020-11-25 21:18:03 +08:00
    快递硬盘吧 TB 级别的自己上传费时费力 可能还会出错 快递硬盘期间的增量数据最后再使用官方的迁移工具搞一下
    xuanbg
        22
    xuanbg  
       2020-11-25 22:22:21 +08:00
    @dynastysea 我是怕楼主本地机房是小水管啊
    Weixiao0725
        23
    Weixiao0725  
       2020-11-26 01:18:54 +08:00
    买云服务器,搭建 TiDB 集群,自己写个程序慢慢往里面导呗
    hongzai118
        24
    hongzai118  
       2020-11-26 08:49:26 +08:00
    需要采购阿里云 华为云 腾讯云 可以联系我 我这边给你全网最低额外返现优惠 vx:gome3000
    stranger75
        25
    stranger75  
       2020-11-26 09:48:30 +08:00
    我们这边可以出架构方案和技术售后,老哥需要的话联系我
    @chinafengzhao
    janxin
        26
    janxin  
       2020-11-26 10:04:49 +08:00
    花钱买方案?
    IDAEngine
        27
    IDAEngine  
       2020-11-26 11:10:47 +08:00 via iPhone
    用亚马逊 aurora 呀,国内版的还不错,而且都是企业用户
    whx20202
        28
    whx20202  
       2020-11-26 11:39:04 +08:00
    阿里云有个 dts,可以看一下
    freecloud
        29
    freecloud  
       2020-11-26 12:33:31 +08:00
    /t/729386
    可以联系我,我帮出架构和方案。
    way2explore2
        30
    way2explore2  
       2020-11-26 12:54:34 +08:00
    @IDAEngine 这个情况 Aurora 很可能或者不久之后也会吃力,最好是直接 redshift

    aurora 不是很适合 data warehouse
    way2explore2
        31
    way2explore2  
       2020-11-26 12:55:19 +08:00
    联系我出方案也行。 哈哈哈
    lance6716
        32
    lance6716  
       2020-11-26 21:07:25 +08:00 via Android
    @Weixiao0725 有 tidb-lightning,配置合适的话 200G/h 吧,比自己写快
    Svalues
        33
    Svalues  
       2020-12-10 11:25:18 +08:00
    @dynastysea 可能还不止,考虑一下磁盘的 IO
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2975 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 13:48 PVG 21:48 LAX 06:48 JFK 09:48
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86