400M 的数据库， 1 亿 9 千行用什么索引比较好

Hash

索引

txt

数据库

116 条回复 2016-06-27 07:02:18 +08:00

1 2

1

leakeung

2016-04-04 20:05:44 +08:00

你这个是想利用在网易 50G 数据查询吧,试试 sqlsrv

2

xuandao

2016-04-04 20:06:00 +08:00

字母什么的也行这个看个人喜好，反正最后查都是 CTRL+F

3

moult

2016-04-04 20:08:38 +08:00

直接丢 Redis 。

4

strwei

2016-04-04 20:09:54 +08:00

同楼上

5

Andy1999

OP

2016-04-04 20:26:45 +08:00 via iPhone

@leakeung 52G 特殊处理后只有 400M
@xuandao 需要数据库么

6

Andy1999

OP

2016-04-04 20:26:56 +08:00 via iPhone

@moult 已添加入备选

7

ixinshang

2016-04-04 20:31:21 +08:00

持续关注

8

dingyaguang117

2016-04-04 20:33:20 +08:00

mongodb

另外 lz 给发一份 400M 的数据吧多谢啦 dingyaguang117[AT]gmail.com

9

mafuyu

2016-04-04 20:36:22 +08:00

Redis+1 毕竟还有什么能比内存更快...

10

slixurd

2016-04-04 20:40:03 +08:00

@mafuyu 这话说的不对
搜索速度和在不在内存有什么关系
主要是搜索的数据结构和算法得做好

11

hjq98765

2016-04-04 20:41:29 +08:00

求 LZ 顺便转发一份吧， 1024~

hjq98765[AT]gmail.com

12

hst001

2016-04-04 20:50:01 +08:00

随便搞
可以的话求一份给我？我再 pm 邮箱给 LZ 你

13

sjtlqy

2016-04-04 21:03:37 +08:00

14

flybluewolf

2016-04-04 21:05:03 +08:00

LZ 转发一份吧，谢谢楼主
michaelchen.live.com@gmail.com

15

wanghuangjie

2016-04-04 21:09:46 +08:00

方便发一份学习吗？ [email protected]

16

qa52666

2016-04-04 21:10:24 +08:00

求一份 zrl12321[AT]gmail.com

17

sparkssssssss

2016-04-04 21:10:25 +08:00 via iPhone

求转发一份， [email protected]
试下 es

18

Andy1999

OP

2016-04-04 21:12:28 +08:00 via iPhone

@dingyaguang117
@hjq98765
@hst001
@flybluewolf
@wanghuangjie
@qa52666
@coolloves /t/267974 看附言

19

diwu

2016-04-04 21:19:48 +08:00

求发一份，谢谢 LZ [email protected]

20

likuku

2016-04-04 21:22:19 +08:00

若把这些数据丢去 solr/elasticsearch 呢？反正都是静态数据，让搜索引擎系统处理后，提供搜索功能。

21

maskerTUI

2016-04-04 21:26:03 +08:00

芒果 db 不错

22

kxjhlele

2016-04-04 21:43:40 +08:00

[email protected] 求发一份。

23

InFaNg

2016-04-04 21:51:55 +08:00 via Android

sphinx 大法好

24

aalska

2016-04-04 21:54:19 +08:00

[email protected] 来一份

25

yc1017

2016-04-04 22:05:05 +08:00

[email protected] LZ 来一发谢谢

26

XianZaiZhuCe

2016-04-04 22:07:42 +08:00 via iPhone

[email protected] 1024

27

crazylinus

2016-04-04 22:22:47 +08:00 via Android

求楼主来一份， [email protected]

28

DarsyCheuk

2016-04-04 22:23:39 +08:00

zodarsy[at]gmail.com 来一发数据

29

mozutaba

2016-04-04 22:32:01 +08:00

agmol108###qq.com Thanks!!!

30

lujiajing1126

2016-04-04 22:37:49 +08:00

postgresql 的 OLAP 引擎，或者直接上 Hbase

公有云应该都有相应的服务，直接买就行

可以参考 [A Billion Taxi Rides in PostgreSQL]( http://tech.marksblogg.com/billion-nyc-taxi-rides-postgresql.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io)

31

jackyguest

2016-04-04 22:40:46 +08:00

同求一份， lydipad[at]gmail.com ，一起研究，多谢啦

32

xiongbiao

2016-04-04 22:41:25 +08:00

[email protected] 楼主好人：）

33

BlueWolf

2016-04-04 22:56:16 +08:00

elasticsearch 索引建完后搜索极快， web api 查询方式友好

34

horipse

2016-04-04 22:56:52 +08:00 via iPhone

同求 [email protected]
楼主好人

35

ifconfig

2016-04-04 22:57:55 +08:00 via iPhone

我也是 2 亿数据，楼主方便留个微信好友不

36

alexapollo

2016-04-04 22:59:58 +08:00

HBase

37

Andy1999

OP

2016-04-04 23:05:20 +08:00 via iPhone

@diwu
@kxjhlele
@yc1017
@XianZaiZhuCe
@crazylinus
@DarsyCheuk
@mozutaba
@horipse
@ifconfig /t/267974 看附言

38

TemporaryID

2016-04-04 23:18:37 +08:00

3

我用的是 LevelDB
网易的库导进去之后大概是 25GB
https://163password.download/
求不 D 啊，我又不是这条道上的人，不要打我嘛 T_T

39

blcygzs

2016-04-04 23:21:47 +08:00

楼主好人，给我一份吧。。

40

ixinshang

2016-04-04 23:22:41 +08:00

@TemporaryID 输入邮箱查询乱码呢

41

TemporaryID

2016-04-04 23:24:26 +08:00

@ixinshang 忘了在 header 加 charset 了
懒得改了
乱码的内容就是 UTF-8 编码的“未找到”

42

ixinshang

2016-04-04 23:27:07 +08:00

@TemporaryID 好吧

43

Comdex

2016-04-04 23:32:08 +08:00

wcomdex[at]foxmail.com 楼主能给我一份数据么，谢谢

44

mianju

2016-04-04 23:37:21 +08:00

400M 这个可以有

45

baiyangge

2016-04-04 23:44:00 +08:00

[email protected] 谢谢楼主

46

Gamon

2016-04-04 23:48:07 +08:00

704789#qq.com LZ 能否发一份学习，万分感谢！

47

islandev

2016-04-04 23:54:11 +08:00

ben.wangdev#gmail.com
谢谢楼主

推荐 solr/es

48

dtysky

2016-04-04 23:56:42 +08:00 via Android

[email protected] thx

49

MrBearin

2016-04-05 00:08:50 +08:00

同求 [email protected]

50

Dannytmp

2016-04-05 00:11:12 +08:00 via Android

究竟是啥好东西，怎么这么多人要啊

51

VYSE

2016-04-05 02:24:36 +08:00 via Android

这个级别 pg 轻松搞定，话说 163 那个真不像从网易泄露的，里面其他邮箱也有，而且还有我一个专门注册论坛的垃圾号，大号一个没有

52

jason879

2016-04-05 07:41:18 +08:00

[email protected] 多谢楼主！

53

weaming

2016-04-05 08:29:28 +08:00

iweaming#gmail.com

54

yuhuigreed

2016-04-05 08:37:24 +08:00

[email protected] 同求一份

55

chenjunqiang

2016-04-05 09:03:02 +08:00

88356983#qq.com 同求一份，谢谢

56

airqj

2016-04-05 09:07:17 +08:00

[email protected]
谢谢楼主

57

xiaolongyuan

2016-04-05 09:12:10 +08:00

[email protected]
谢谢楼主

58

odirus

2016-04-05 09:17:00 +08:00

odirus#163.com

谢谢楼主

59

Bingbing

2016-04-05 09:25:37 +08:00

[email protected] 谢谢楼主

60

axzy

2016-04-05 09:31:39 +08:00

谢谢楼主 [email protected]

61

Lihz

2016-04-05 09:32:34 +08:00

[email protected] 谢谢楼主

62

Poko

2016-04-05 09:46:27 +08:00

顺求一份 [email protected]

63

azh7138m

2016-04-05 09:53:16 +08:00 via Android

歪个楼，好奇楼主是怎么整理的，可以说一下思路吗？我这里查询起来很慢，也想整理一下(··;

64

aboutyang

2016-04-05 09:53:47 +08:00

272093579#qq.com 同求一份，谢谢

65

taijia

2016-04-05 09:56:50 +08:00 via Android

tangtaijia#gmail.com 楼主好人

66

jzhao

2016-04-05 09:57:28 +08:00

jingkai.zhao#foxmail.com 楼主好人～

67

liuzhen

2016-04-05 10:05:30 +08:00

[email protected]

68

fishioon

2016-04-05 10:16:30 +08:00

1024 ，楼主好人 [email protected]

69

ainimuyan

2016-04-05 10:32:51 +08:00

@Andy1999 谢谢楼主，学习学习， [email protected]

70

ovear

2016-04-05 11:04:20 +08:00

@Andy1999 _(:з」∠)_过期了求一个

71

hongye1990

2016-04-05 11:08:50 +08:00

谢谢楼主, [email protected]

72

orcusfox

2016-04-05 11:14:04 +08:00

谢谢楼主, [email protected]

73

linxin26

2016-04-05 11:16:12 +08:00

谢谢楼主

[email protected]

74

badcode

2016-04-05 11:28:20 +08:00

1

有意思，出现了贴吧给邮箱求 xx 的场面，帮"某些人"谢谢你们的邮箱地址

楼主辛苦了，被歪楼歪得，具体看 37L

贴下昨天在其他帖子删的图，楼主 @Andy1999 是来寻求一种解决方法的，希望有用

75

badcode

2016-04-05 11:30:43 +08:00

第三个，加.exe 搜索可能快点

76

domty

2016-04-05 11:41:42 +08:00

@TemporaryID
你这个库是哪年的。感觉查出的邮箱密码得是 5 年前的了

77

domty

2016-04-05 11:43:02 +08:00

[email protected]
谢谢 lz

78

hao11703

2016-04-05 11:46:53 +08:00

shaokaojun#gmail.com thx

79

hiboshi

2016-04-05 11:47:16 +08:00

谢谢楼主, [email protected]

80

julypanda

2016-04-05 11:57:07 +08:00

谢谢楼主, [email protected]

81

Perry

2016-04-05 11:58:34 +08:00 via iPhone

V 站变贴吧

82

calebx

2016-04-05 11:59:29 +08:00

caleb.xiang#qq#com
感谢 lz

83

guxuede

2016-04-05 12:00:44 +08:00

谢谢楼主, guxuede#gmail.com

84

rubytek

2016-04-05 12:08:14 +08:00

@TemporaryID 我查了下自己的一个常用邮箱，结果显示密码就是邮箱名。。。这个是不是不准啊。。

85

kenshin912

2016-04-05 12:50:25 +08:00

同求一份,感谢楼主
[email protected]

86

XDA

2016-04-05 13:04:27 +08:00

贴吧即视感

wizard.cc.xx 在 gmail

楼主好人

87

cheng12308

2016-04-05 13:10:52 +08:00 via iPhone

楼主好人 [email protected]

88

ifaii

2016-04-05 13:25:49 +08:00

[email protected]
感谢分享~

89

yishenggudou

2016-04-05 13:28:26 +08:00

楼主好人 [email protected]

90

flight2006

2016-04-05 13:28:32 +08:00

tongfei1017 [at] gmail

91

Note

2016-04-05 13:32:24 +08:00

@TemporaryID 可不可以分享一份，谢谢， [email protected]

92

Braid

2016-04-05 13:44:02 +08:00

[email protected]
感谢分享

93

addbook

2016-04-05 13:48:23 +08:00

楼主好人 [email protected]

94

kirisetsz

2016-04-05 13:59:29 +08:00

不小心回复到 /t/267974 去了……

95

chrislon

2016-04-05 14:46:51 +08:00

楼主好人，求一份 [email protected]

96

strwei

2016-04-05 14:49:51 +08:00

[email protected] 谢谢

97

tjxiter

2016-04-05 16:17:04 +08:00

楼主好人， [email protected]

98

weixuegg

2016-04-05 16:30:13 +08:00

感谢楼主分享 weixuegg[at]gmail.com

99

y835L9DyC5XD09kq

2016-04-05 16:54:17 +08:00

[email protected]
楼主好人

100

fordawn

2016-04-05 16:59:53 +08:00

[email protected] 楼主好人

1 2