mysql 写的量比较大每日 20 亿次, 读写比是 1:20, 如何设计数据库的架构 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
thomaswang
V2EX    问与答

mysql 写的量比较大每日 20 亿次, 读写比是 1:20, 如何设计数据库的架构

  •  
  •   thomaswang 019-07-18 13:27:37 +08:00 4174 次点击
    这是一个创建于 2285 天前的主题,其中的信息可能已经有所发展或是发生改变。
    22 条回复    2019-07-19 09:24:32 +08:00
    glacer
        1
    glacer  
       2019-07-18 13:48:49 +08:00
    换 MongoDB
    dapang1221
        2
    dapang1221  
       2019-07-18 13:52:18 +08:00
    什么业务这么大量的写…读对实时性有要求吗…
    dongisking
        3
    dongisking  
       2019-07-18 14:09:06 +08:00 via Android
    先关注一下,看楼下发言
    luckyrayyy
        4
    luckyrayyy  
       2019-07-18 14:12:07 +08:00
    楼下不会...
    aaahhh123
        5
    aaahhh123  
       2019-07-18 14:14:14 +08:00
    ma yixai
    stockCHEN
        6
    stockCHEN  
       2019-07-18 14:15:08 +08:00
    物联网吗?
    zidian9
        7
    zidian9  
       2019-07-18 14:22:34 +08:00
    分库分表写,每过一段时间把老的数据(不怎么用的)移到数据仓库里面去
    数据仓库里面读的时候加个缓存
    sujin190
        8
    sujin190  
       2019-07-18 14:31:47 +08:00
    这种数据是不是不适合存数据库,这么大量,保存下来似乎也没多大用,索引太大查询不了,最好就是 kafaka 然后 flink 直接计算结果就是了,没必要保存吧,需要保存最好就纯文本文件存入 hdfs,需要统计啥的直接 hadoop 或者 flink 读出来直接计算更快吧

    mysql 在索引太大无法使用,需要直接读取磁盘全表扫描的时候似乎读取磁盘速度很慢,而纯文本顺序 io 读出来直接计算更快
    c0878
        9
    c0878  
       2019-07-18 14:40:10 +08:00
    写入量大没问题 关键看这些数据后续要来做什么 然后根据数据消费的情况 选择不同的存储引擎 可能 mysql 不是最好的选择
    thomaswang
        10
    thomaswang  
    OP
       2019-07-18 14:40:13 +08:00
    @stockCHEN 你的回到真的亮了, 去物联网公司面试, 面试官提的问题
    thomaswang
        11
    thomaswang  
    OP
       2019-07-18 14:40:33 +08:00
    @dongisking 我不会,在请教, 咱们一起看大神的留言吧
    rockyou12
        12
    rockyou12  
       2019-07-18 14:42:16 +08:00
    物联网用个屁的 mysql,上时时序数据库。估计是面试官故意给你埋雷
    zhchyu999
        13
    zhchyu999  
       2019-07-18 14:43:30 +08:00
    可以试试分布式数据库,比如 Tidb 之类的
    xiaoyang7545
        14
    xiaoyang7545  
       2019-07-18 15:55:11 +08:00
    这些数据要是丢 mysql 完全没有可读取性 ,不就是废数据了。
    crossoverJie
        15
    crossoverJie  
       2019-07-18 16:15:07 +08:00
    楼上提到了 确实不能用 MySQL,我们现在就是这个物联网场景,写远远大于读,建议上 MongoDB.
    scalaer
        16
    scalaer  
       2019-07-18 16:19:45 +08:00
    看你的描述我觉得 Hbase 挺适合的, 极端情况下,基于 LSM 树实现的 HBase 的写性能比 Mysql 高了一个数量级,读性能低了一个数量级。
    zhangjessey
        17
    zhangjessey  
       2019-07-18 16:48:28 +08:00
    可以考虑上时序数据库。
    taotaodaddy
        18
    taotaodaddy  
       2019-07-18 17:54:01 +08:00 via Android
    时序数据库+1
    agdhole
        19
    agdhole  
       2019-07-18 18:35:23 +08:00 via Android
    时序数据库
    XiaoXiaoNiWa
        20
    XiaoXiaoNiWa  
       2019-07-18 18:38:05 +08:00 via Android
    RocketMQ + MangoDB
    hzfyjgw
        21
    hzfyjgw  
       2019-07-18 18:41:09 +08:00 via Android
    TDengine
    feiyunruyue
        22
    feiyunruyue  
       2019-07-19 09:24:32 +08:00
    时序数据库,这么大量,不知道 prometheus 能不能行。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2650 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 34ms UTC 14:49 PVG 22:49 LAX 07:49 JFK 10:49
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86