这是一个创建于 2763 天前的主题，其中的信息可能已经有所发展或是发生改变。
用什么数据库或系统或？
请教
 | 1 dqh3000 OP 可以认为是 1000 万个 json，但是并不需要查询内容 可以接受 KV 感觉的读取，每个文件可以有 uuid |
 | 2 binux 2018-03-22 03:59:43 +08:00  2 加 30G 内存 |
 | 4 msg7086 2018-03-22 04:31:39 +08:00 NVMe SSD + Reiser4 ？ |
 | 5 golmic 2018-03-22 07:56:23 +08:00 via Android 不懂帮顶。希望知道答案 |
 | 6 murmur 2018-03-22 07:57:43 +08:00 30g 随便买个 intel 的高速 ssd 就可以了啊 |
 | 7 Aug 2018-03-22 07:58:18 +08:00 via Android 分布式？ |
 | 8 paranoiagu 2018-03-22 07:59:23 +08:00 via Android 这么多文件，参考 ccache 的存储方式。 |
 | 9 XSugar 2018-03-22 08:01:32 +08:00 via iPhone 文件按文件名划分区块？索引会不会好些 |
 | 10 vwhenx 2018-03-22 08:27:13 +08:00 搞个 64G 内存，存内存里面 |
 | 11 mhycy 2018-03-22 08:43:16 +08:00 入库，瓶颈在文件系统 |
 | 12 shakoon 2018-03-22 08:59:33 +08:00 上世纪末本世纪初这样的数据库存储方式在大型机里可是主流的呢，好多银行在用，VSAM 了解一下 →_→ |
 | 13 Mutoo 2018-03-22 10:13:41 +08:00 taobao 当初为了实现高性能小文件的读取，自己搞了一套 tfs，后来还做成分布式的。你可以了解一下 https://github.com/alibaba/tfs |
 | 14 tigiyj 2018-03-22 10:39:57 +08:00 最近正好我这类问题同问,我是 4000 万文件,将近 500g, |
| 15 tigiyj 2018-03-22 10:40:34 +08:00 最近正好遇到这类问题同问,我是 4000 万文件,将近 500g, |
 | 16 jasontse 2018-03-22 10:43:20 +08:00 via iPad 加内存 buffer 或者 Optane |
| 17 dqh3000 OP 如果把所有文件都对齐到一个统一大小，算是拿空间换时间，不知道会不会好一点？ 换文件系统这件事儿实在是，并不容易…… |
 | 18 yqylovy 2018-03-22 11:19:28 +08:00 可以考虑 rocksdb |
 | 19 sunny352787 2018-03-22 11:26:54 +08:00 我觉得还是扔库里先试试，常用的 redis、mongoDB，甚至 mysql 的读取性能其实应付一般的需求都可以，扔进去测试一下看看先，这么问没有统一答案的，而且随机读取可能没你想象的那么慢 |
| 20 dqh3000 OP |
 | 21 taobibi 2018-03-22 11:54:27 +08:00 SSD 组 RAID10，这样读取没问题，但是响应时间不太好说。 |
 | 22 natforum 2018-03-22 15:07:54 +08:00 借楼问下 1300 多个文件 100g，怎么搞，原来想过 hadoop+hdfs，不知道可行性 |
 | 23 macfee 2018-03-22 17:26:49 +08:00 tfs |
 | 24 zts1993 2018-03-22 17:29:30 +08:00 kv 推荐 rocksdb - 具体到实现可以看看 pika |
 | 27 leekafai 2018-03-23 10:26:56 +08:00 加内存，全部放到内存里面，要读就从内存去读，这样是最快的。 |
Select Language