这是一个创建于 3989 天前的主题，其中的信息可能已经有所发展或是发生改变。
业务中需要对数据库中4000万条数据进行逐条遍历，数据总量20多G，要求1分钟内能取出所有数据。
目前使用的是MongDB，一主一丛，16G内存。并发查询最快3分钟多钟完成。且并发数多了会变慢。
有没有其他更好的方案可以提升全库遍历的速度？比如哪种内存数据库？
目前使用的是MongDB，一主一丛，16G内存。并发查询最快3分钟多钟完成。且并发数多了会变慢。
有没有其他更好的方案可以提升全库遍历的速度？比如哪种内存数据库？
 | 1 kingwkb 2014-11-10 17:16:03 +08:00  1 redis |
 | 2 ipconfiger 2014-11-10 17:30:23 +08:00 1 文件 |
 | 4 uleone OP @ipconfiger 文件会比MongoDB快吗？ |
| 5 ipconfiger 2014-11-10 17:42:15 +08:00 @uleone 直接下载啊，当然快啦 |
 | 6 ziyuan 2014-11-10 17:55:36 +08:00 1 理论上，内存数据库+网格计算是最快的了，成熟的产品有oracle exdata，如果不考虑成本的话 |
 | 7 vietor 2014-11-10 17:57:20 +08:00 1 可以考虑使用 ElasticSearch |
 | 8 msg7086 2014-11-10 17:57:47 +08:00 1 数据20G，内存16G，你是怎么放进内存里的…… 如果是读写硬盘的话，你们用了SSD RAID了吗？ |
 | 11 Kabie 2014-11-10 18:12:17 +08:00 1 ....不是全内存肯定会慢吧。。。 你先试试能完全放在内存里的数据…… |
 | 12 charlestang 2014-11-10 19:51:10 +08:00 楼主是不是应该介绍一下数据的类型，比如4000万行数据，有几个字段，分别什么类型的，全是整数，还是全是字符串，或者别的。为什么需要的不是查询，而是全部遍历？这个需求本身比较奇怪吧…… |
 | 13 hiddenman 2014-11-11 10:09:29 +08:00 真羡慕有这么多数据的环境。 |
Select Language