请问各位 v 友们,数据量每日增长约 300w,要做报表,在十亿级别的数据量里,要想查询速度在 2s 内返回,用什么数据库存储查询比较快?
(最好单表或不需要自己做额外业务,可以加索引,插入更新慢不要紧,查询快就好。)
1 shakeyo 2020-11-19 12:11:37 +08:00 mysql+异步队列计算足够简单足够满足需求了 |
![]() | 2 qiayue PRO ![]() ClickHouse |
![]() | 3 opengps 2020-11-19 12:15:16 +08:00 这主要得看你的查询条件,我当年把 gps 坐标轨迹,压缩到只允许 2 个查询结构,15 亿行里分了 31 个区,秒查三天轨迹 另外,硬盘介质一定要快,尽可能用好的 ssd |
4 chiva 2020-11-19 12:27:00 +08:00 via iPhone 单查询 mysql 完全满足啊 |
![]() | 5 nuk 2020-11-19 12:37:14 +08:00 有索引基本都秒查吧,唯一要担心的就是你的 index 塞不进内存。 |
![]() | 6 lasuar 2020-11-19 12:46:01 +08:00 ck #2 |
![]() | 7 Wincer 2020-11-19 12:46:09 +08:00 clickhouse,非常适合 olap,我们最大的一张表有 600 亿的数据。 |
![]() | 8 wangyanrui 2020-11-19 13:09:23 +08:00 via Android ![]() 看查询条件是什么样子,不然没法下定论 |
![]() | 9 zk123 OP @opengps @wangyanrui 主要聚合统计偏多 |
![]() | 10 qiayue PRO 不用选了,上 ClickHouse 吧,CH 就是为这个需求而生的 |
![]() | 11 vincent7245 2020-11-19 13:44:48 +08:00 要看你的业务了,如果是统计需求比较多可以考虑大数据技术栈 |
![]() | 12 samuel 2020-11-19 13:57:09 +08:00 ClickHouse |
13 lucyplay 2020-11-19 14:17:48 +08:00 ck |
14 lixintcwdsg 2020-11-19 15:13:32 +08:00 clickhouse 解决你的所有问题 |
![]() | 15 yangqingrong 2020-11-19 22:25:08 +08:00 via Android ![]() mycat |
16 inwar 2020-11-19 22:43:25 +08:00 via Android Ck 或者 es |
![]() | 17 hangszhang 2020-11-19 23:08:28 +08:00 统计需求多 mysql 肯定不行, clickhouse 吧 |
18 yangzh 2020-11-19 23:31:37 +08:00 via iPhone clickhouse? |
![]() | 19 rapperx2 2020-11-20 09:04:45 +08:00 clickhouse +1 |
![]() | 20 Cowhitewhite 2020-11-20 09:44:26 +08:00 vertica ? |
![]() | 21 NillSpake 2020-11-20 10:53:20 +08:00 clickhouse +1 |
![]() | 22 IDAEngine 2020-11-20 11:39:23 +08:00 via iPhone clickhouse +1 |
23 superman2 2020-11-20 15:35:04 +08:00 回复这么多 clickhouse,现在 clickhouse 有这么火吗?你们有谁都用在生产上面了 |
24 superman2 2020-11-20 15:36:00 +08:00 @yangqingrong 好久没有在头条上见到你了 |
![]() | 25 oneoyn 2020-11-20 18:36:14 +08:00 分布式数据库 mycat |
![]() | 26 zk123 OP 感谢大家的建议,clickhouse 很不错,但是支持 ClickHouse 的云平台只有阿里云,而且价格太贵,自己搭一套运维成本太高,纯报表的聚合使用 clickhouse 性价比太低。最终使用了 MongoDB,多维度分表的方式。 |
![]() | 27 zk123 OP 后又换成了 Clickhouse |