现在使用了线程池创建, 不过速度还是很慢
![]() | 1 BQsummer 2018-03-30 18:35:38 +08:00 via Android 换电脑,cpu 核心不够,线程再多也没用,反而慢。 |
2 zj299792458 2018-03-30 20:39:05 +08:00 via iPhone @BQsummer 这瓶颈在于 IO 了吧,CPU 过剩了 |
![]() | 3 rb6221 2018-03-30 20:41:34 +08:00 via Android 无限平方 复制粘贴大法? |
4 liucudliucud 2018-03-30 21:00:09 +08:00 via Android 搭建一个 hadoop 集群 |
![]() | 5 lhx2008 2018-03-30 21:05:18 +08:00 via Android nodejs npm 几下就有几百万个文件了(滑稽) |
6 lihongjie0209 OP @lhx2008 #5 黑的漂亮 |
&nbp; 7 lihongjie0209 OP |
8 lihongjie0209 OP @zj299792458 #2 我感觉是, 但是找不到什么好办法 |
9 dobelee 2018-03-30 21:49:15 +08:00 via Android touch 三百万应该很快吧。 你发帖的时间应该 touch 完了。 |
10 lihongjie0209 OP @dobelee #9 光 for 循环 300 万次就需要很久了, 别说 io 操作了 |
![]() | 11 MrGba2z 2018-03-30 22:59:33 +08:00 dd & split |
12 bingod 2018-03-31 13:37:20 +08:00 创建一个 300 万条数据的文件,然后分成 100 个字典(或更多),再将每个字典里的文字保存成 30 万个包含单条数据的文件,可以用多线程。 |
13 bingod 2018-03-31 13:38:42 +08:00 写错了,应该是 3 万条,主要的问题是文件系统比较慢 |
![]() | 14 STRRL 2018-03-31 13:49:11 +08:00 via Android 估计是磁盘跟不上,试试 ramdisk |
15 lihongjie0209 OP @STRRL #14 这个想法可以有, 谢谢 |