这是一个创建于 3173 天前的主题，其中的信息可能已经有所发展或是发生改变。
有个日志文件，每行是用户的行为日志，文件有 10 个多 G ，想要把有关键字 XXX 的行给找出来，不知道各位大神有没有好方法。
之前用了 windows find 和 linux grep 感觉效率不是很高。
之前用了 windows find 和 linux grep 感觉效率不是很高。
 | 1 phrack 2017-03-25 12:05:22 +08:00 via Android  1 定义你要的效率 10g 在 grep 面前要不了太久吧 |
 | 2 yttyhf2006 2017-03-25 12:06:18 +08:00 via Android 1 效率不高是磁盘不够快？ |
 | 3 loading 2017-03-25 12:13:52 +08:00 1 如果不是磁盘问题，多线程吧。 |
 | 4 swulling 2017-03-25 12:21:28 +08:00 via iPhone 1 10G grep 很快，注意如果只是找关键字的话用 -F |
 | 5 sensui7 2017-03-25 14:42:05 +08:00 1 流程: 1. 读数据, 2. 搜索, 3.写输出 主要慢在 读和写上. 一种方法是将文件分成 10 份, 同时读, 但对机械硬盘没什么作用. 但是你可以试试把这 10 份文件放在 10 块硬盘同时读. (滑稽 还有一种即时输出结果, 这样在等待的时候起码能缓解下情绪. |
 | 6 FrankHB 2017-03-25 15:07:11 +08:00 1 虽然可能不是主要问题，不过 grep 的实现性能经常不够用。可以试一下 ag(the silver searcher)和 ripgrep 之类，用法和 grep 大同小异。 不过如果模式简单（只是找关键字 XXX ），可能自己直接实现个 native 程序（在各种意义上）还更快点…… |
Select Language