这是一个创建于 3184 天前的主题，其中的信息可能已经有所发展或是发生改变。
十万条以上就开始只能处理一部分而已
 | 1 mdzz 2017-03-13 13:24:26 +08:00 看到 grep - md5.sum 的时候楞了几秒钟 |
 | 3 ElmerZhang 2017-03-13 14:51:18 +08:00 你确定不是你的 md5.sum 一直有 append ？ |
 | 4 yiyiwa 2017-03-13 14:56:18 +08:00 10 万条不至于吧! |
 | 5 congeec 2017-03-13 15:10:43 +08:00 via iPhone 这种情况下不用 cut 么？ |
 | 6 rrfeng 2017-03-13 15:21:56 +08:00 从未遇到过 |
 | 7 noark9 从未遇到过，你确定你的数据只是按行还是有增加，或者数据没问题，之前导数据的时候三五百万是松松的处理啊 |
 | 8 lrz0lrz 2017-03-13 16:20:51 +08:00 处理几千万行数据从没遇到过这个问题 |
 | 9 est 2017-03-13 16:49:12 +08:00 在 hdfs /hadoop stream 上跑 grep 的路过。都不是事儿～～ |
 | 11 rogerchen 2017-03-13 18:54:43 +08:00 楼主总想搞个大新闻， FSF 这些远古套件出问题的可能性几乎没有，你也不想想用户群有多大。。。 |
 | 12 lhbc 2017-03-13 19:00:01 +08:00 via iPhone 十万也算量？ |
 | 13 fxxkgw 2017-03-13 19:00:09 +08:00 C 的效率对付几十万条数据还是妥妥的 |
 | 14 chineselittleboy 2017-03-13 19:03:48 +08:00 下午刚处理过三百万行的文本，几十秒 |
 | 15 halfbloodrock 2017-03-14 08:48:33 +08:00 想用 shell 处理大量文本数据的话，用 while 结合 awk ， sed 。 |
 | 16 feiyang21687 2017-03-14 09:31:35 +08:00 md5.sum...... |
Select Language