52G 的库，用什么办法检索速度最快？

这网站为什么会返回乱码，是我的密码还没泄露？
另外参照 找密码网的源码，人家 500G 数据， 30 多个库速度也在 10 秒以内

按首字母分库啊，并行查找

他的是精确查找 你的是 like 查找 不是一个道理吧。只是要精确查找的话 还可以分成很多个表，查询速度必然迅捷无比。最简单的按 2 位首字母分表就可以分至少 1296 个 查询的时候做下判断就可以精确的去相应的表里面查 性能直接提升 1296 倍 你的 45S 马上就变成了 0.0347S

Sphinx

话说那个 TXT 里面乱七八糟的格式，我导了 100 万就放弃了，太麻烦了。

mongodb ？

@Bryan0Z 改 utf8 编码就好了

@yeyeye 虽然不是太懂，感觉好牛叉的样子，我先试试用首字母分区

全部加载到内存

@kslr 我用的是 LOAD DATA INFILE 语法，秒导

@Bryan0Z 哥们你说的找密码网的源码 ，有没有链接？

倒入到 ES 集群了，嗯，正在倒入，还有两个包，几个亿据毫秒级。妈蛋这次的数据重复太多，去重略耗时间

@ifconfig 可是格式呢，里面有----切分的还有不定长度空格什么的

@kslr
LOAD DATA INFILE 'path/info.txt' INTO TABLE xxx FIELDS TERMINATED BY '----' LINES TERMINATED BY '\n';
多看点参数说明就好了

@ucaime 看来哥们是搞大数据专家，我准备上 sphinx 试试

Elastic Search 啊，虽然 like 这种通配符匹配还是很慢，但是分词后的模糊查询超快的，我们现在一个 index 就是 80G ，速度还超快。

@slixurd 牛叉，接触 ES 试试

mongodb+es 几十亿都没任何问题，这种杂乱数据注意一下清洗，如果要做规则或者杂乱格式转发请用 kettle ，不过话说学会都是一个月后的事情了

求裤子分享

不先整理一下？我全部转为 UTF-8 然后合并到一个文件并且 sort -u 之后数据就只剩 12 GB 了，这还有大量重复的信息呢

这破事，网易官方有回应吗？

我觉得 163password.download 并不快啊~

@lichao 网易太鸡贼了，第一把所有曝出的库的邮箱标记为可疑，各种提示。第二把关键邮件比如苹果发来的要求手机验证查看，装糊涂吧

@ucaime 唧唧，这么一听你说，渣易真够贱的

163password.download 是不是不全啊？ 我查了没有

有意思，一张图片一个小时多而已
来自 v2 的 views 就有 300 多次

你们都下载好了？

只有 50 多 G ，直接丢内存得了

类似搜索引擎的做法

grep -nr 自己的邮箱啊！！ *

@ianisme grep 效率太低了，还是上 ES 搜索系统试试

求下载地址啊

@SlipStupig v 站内就有的

索引对 like 无效

分表

模糊查找的话，还是基于 Lucene 吧。
精确查找的话，关系型数据库也不会慢吧。或者试试看 Redis 。

试试文档数据库或者 Redis

@moult 这谢谢

@strwei 谢谢

我忘记密码的终于找回了

@ifconfig 以前做 bt 搜索网站的时候用的 redis 网站 n G 数据，查找很快

@dingyaguang117 我查了有我的邮箱但是不是我的密码。。。

http://www.03sec.com/usr/uploads/2015/04/2864323021.pdf

03sec 的老文，可以参考，用了 coreseek

@jhaohai 谁说无效，正序索引 只要 like 不是%开始还是可以用的

导入数据： http://pastebin.com/2PyKHPjn
Web 服务： http://pastebin.com/SErx0WNj

用的是 LevelDB
导入后大概 25GB
服务器在 DigitalOcean 上
楼上 @yeyeye 说的对，因为是精确匹配，所以快

还有真的不要 DDoS 我好吗，我真的不是做这个的，只是玩玩 T_T

52g 根本小菜一碟，记得加索引。

哦，看到你说做 like 查询，呵呵，如果真的要快，那做 ngram 吧。。。

求裤子

刚查了，密码是四年前的。

歪个楼，解压密码是啥？

@wyx

@wyx baidu

@ifconfig 谢谢

靠，我的泄露了

@ynyounuo 粗筛选可以在转码前先执行 shasum 简单计算 hash ，然后再做分词。算了一下，大概重复的数据有 438 ， 38.62%左右都是重复的。

如果先转码，恐会浪费不少时间（机器多可忽略...）

没裤子穿,需要裤子

@soulteary
嗯，学习了，所以大概缩下来有多大呢？

mime-type 错误 & 编码可能存在问题的有 3G 左右，有空特殊处理看看。

32G 简单去重后 11G ，其实挺少的，继续筛下估计更少...

@ynyounuo

@ifconfig 实在没找到地址

@ynyounuo sort -u ， 请问你内存多大呢。。。 花了几个小时？

@dingyaguang117 内存 8G ， i5 ，已经过去一个小时了， MacBook 好烫好烫好烫好烫