- 设备每分钟上报一次数据,数据大小 200 字节
- 设备数量 1w->10w->50w.
- 前期数据保存半年,后面只存三个月。
- 业务想要个设备列表,展示最新的上报数据。
目前想存入 Doris 中,数据进行压缩,别的还没考虑好。大佬们有啥好的方案么?

目前想存入 Doris 中,数据进行压缩,别的还没考虑好。大佬们有啥好的方案么?
1 anonydmer May 29, 2024 这个场景应该优先时序库吧 |
2 laikicka May 29, 2024 InfluxDB 啊 |
3 yeyang5211 May 29, 2024 看怎么查吧 物联网场景大多数适合时序数据库,不查的写文件里扔 oss 都行 |
4 heiya May 29, 2024 展示最新的上报数据需要聚合之类( sum, count,group by ...)的操作吗?如果是,感觉 Doris 可以。 |
5 xiaoer90 May 29, 2024 时序数据库:influxDB ,timescaledb ,TDengine |
6 Morriaty May 29, 2024 这东西看你的 read 需求 1. read 实时性不高,同时要复杂的组合 filter 条件、join ,那就 hive 2. read 实时性高,同时要复杂的组合 filter 条件,但不用 join ,上 influxDB 3. 同条件 2 ,还需要文本搜索,上 ES 4. read 实时性高,同时要复杂的组合 filter 条件、join ,那就 clickhouse |
7 qweruiop May 29, 2024 doris 和 clickhouse 都毫无压力。。。 |
8 xueling May 29, 2024 这种设备上报的数据查询方式,一般是聚合统计指标或者按设备/时间查原始记录信息。实现方案很多,推荐:victoriametrics,timescaladb,hbase ,至于要不要选择 ck 或者 doris ,主要看查询的复杂程度。如果有比较多的维度字段,需要任意选择维度进行即席查询,可以使用 ck 或 doris 。如果维度字段很少,查询方式比较简单的话,那就不需要用 ck ,doris 。业务实现涉及很多数据指标,可以了解一下我的开源项目: https://github.com/xl-xueling/xl-lighthouse 。 |
9 yjhatfdu2 May 29, 2024 clickhouse 里面可以再加一个物化视图,用 ReplacingMergeTree ,用设备 ID 去重时间戳做版本号,查询的时候再用 window 查询查每个 ID 时间戳最大的,这样就可以获得一个最新的数据,而且这个物化视图会异步的自动清理老数据,速度应该可以很快 |
10 xianzhe May 29, 2024 如果没有数据处理的需要,只是简单的查询,influxdb 或者其他 LSM 类的数据库都可,没有必要上 Doris 白白浪费资源。基本赞同 6 楼的。 |
11 VoiceEXONE May 30, 2024 via iPhone 如果业务需要把数据进行计算,然后扔 grafana 维度报表分析,不做 join 的话 是直接读 influxDB 还是从 influx DB 分流备份的数据库? |
12 LDa May 30, 2024 influxdb 社区版默认并未提供集群解决方案 记得做好性能测试 |
13 sampeng May 30, 2024 其实集群不集群没啥关系。。只要做好备份。挂了能短时间拉起来,对业务影响没那么大就无所谓 |