推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 1723 天前的主题，其中的信息可能已经有所发展或是发生改变。
需求描述:
日增数据量百万+， 目前采用的是 hbase+hive， 但是 hbase 服务端的 rpc 很不稳定， 所以考虑换一个存储，所以想请教一下有没有更优的存储方式， 应用场景为写多读少
日增数据量百万+， 目前采用的是 hbase+hive， 但是 hbase 服务端的 rpc 很不稳定， 所以考虑换一个存储，所以想请教一下有没有更优的存储方式， 应用场景为写多读少
 | 1 foxyier OP 补充一下: 数据字段不固定， 所以会建几十或上百张 table， 且有自动根据数据构建 table 的需求 |
 | 2 laminux29 2021-01-22 18:00:00 +08:00 别急着换方案，先想办法调试一下，找一下不稳定的原因在哪。假设问题是硬件有瓶颈，那么换软件是无法解决问题的。 之前就看到过类似案例，数据库有延迟，优化、换数据库都解决不了。后来有大佬进行整体分析，发现瓶颈在存储上，把 ssd 从 1 个增加到 3 个，组了 raid 0，问题解决。 |
 | 3 misaka19000 2021-01-22 18:02:48 +08:00 不是应该想着解决 rpc 不稳定的问题？ |
| 4 foxyier OP |
 | 5 TimePPT PRO 实时数据处理试下用 Flink ？ |
 | 6 GGGG430 2021-01-22 18:47:07 +08:00 mysql 也行吧，我这 mysql 日增长 2000w，每天吧数据同步到 hive，dt 日期分区，然后清空一次 mysql |
 | 7 neoblackcap 2021-01-23 00:37:00 +08:00 RPC 不稳定能不能通过重试来解决？如果可以的话，通过分批写入，同时增加重试机制是不是改动成本会更低一点？ 换存储看似简单，但是你要考虑跟你们现有的技术栈合不合适 |
| 8 foxyier OP @neoblackcap 重试是有的， 但是重试次数设置多了就会造成严重的数据堆积。 |
Select Language