
在使用 kafka-storm-MariaDB 流程中,storm 计算后的数据量很大,最后需要入库到 MariaDB,有没有大神有什么好的方法可以减轻数据库压力,定时器五分钟执行一次,数据量大概五分钟有三千万左右,目前逻辑是正常 insert into 语句,Batch 数量为十万条 commit 一次。
1 abcbuzhiming 2018-10-15 09:31:18 +08:00 你这个数据量,1 小时就有 3 6000 0000 条数据,1 小时就 3 亿条了,兄弟别折腾 SQL 了,要么文档存储,要么大数据。这个量级折腾 sql 是不明智的 |
2 dezhou9 2019-01-03 14:07:51 +08:00 via Android 考虑一下自己实现 MySQL 引擎 |