使用 Java 如何快速创建三百万临时文件用于测试, 大小无所谓 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
lihongjie0209
V2EX    问与答

使用 Java 如何快速创建三百万临时文件用于测试, 大小无所谓

  •  
  •   lihonjie0209 2018-03-30 15:43:37 +08:00 3663 次点击
    这是一个创建于 2752 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在使用了线程池创建, 不过速度还是很慢

    第 1 条附言    2018-08-12 20:37:09 +08:00
    这两天刚好需要删除这 300 万(其实我只生成了 200 万不到)文件, 发现 Windows 的删除太慢了, 不管是 bat 脚本, WSL 子系统, 删除保守估计需要几个小时(没统计, 开了一天的后台脚本), 所以最后的建议是 RAMDisk, 关机就删除.
    15 条回复    2018-03-31 14:02:13 +08:00
    BQsummer
        1
    BQsummer  
       2018-03-30 18:35:38 +08:00 via Android
    换电脑,cpu 核心不够,线程再多也没用,反而慢。
    zj299792458
        2
    zj299792458  
       2018-03-30 20:39:05 +08:00 via iPhone
    @BQsummer 这瓶颈在于 IO 了吧,CPU 过剩了
    rb6221
        3
    rb6221  
       2018-03-30 20:41:34 +08:00 via Android
    无限平方 复制粘贴大法?
    liucudliucud
        4
    liucudliucud  
       2018-03-30 21:00:09 +08:00 via Android
    搭建一个 hadoop 集群
    lhx2008
        5
    lhx2008  
       2018-03-30 21:05:18 +08:00 via Android
    nodejs npm 几下就有几百万个文件了(滑稽)
    lihongjie0209
        6
    lihongjie0209  
    OP
       2018-03-30 21:45:15 +08:00
    @lhx2008 #5 黑的漂亮
    lihongjie0209
      &nbp; 7
    lihongjie0209  
    OP
       2018-03-30 21:46:32 +08:00
    lihongjie0209
        8
    lihongjie0209  
    OP
       2018-03-30 21:46:52 +08:00
    @zj299792458 #2 我感觉是, 但是找不到什么好办法
    dobelee
        9
    dobelee  
       2018-03-30 21:49:15 +08:00 via Android
    touch 三百万应该很快吧。
    你发帖的时间应该 touch 完了。
    lihongjie0209
        10
    lihongjie0209  
    OP
       2018-03-30 21:55:11 +08:00
    @dobelee #9 光 for 循环 300 万次就需要很久了, 别说 io 操作了
    MrGba2z
        11
    MrGba2z  
       2018-03-30 22:59:33 +08:00
    dd & split
    bingod
        12
    bingod  
       2018-03-31 13:37:20 +08:00
    创建一个 300 万条数据的文件,然后分成 100 个字典(或更多),再将每个字典里的文字保存成 30 万个包含单条数据的文件,可以用多线程。
    bingod
        13
    bingod  
       2018-03-31 13:38:42 +08:00
    写错了,应该是 3 万条,主要的问题是文件系统比较慢
    STRRL
        14
    STRRL  
       2018-03-31 13:49:11 +08:00 via Android
    估计是磁盘跟不上,试试 ramdisk
    lihongjie0209
        15
    lihongjie0209  
    OP
       2018-03-31 14:02:13 +08:00
    @STRRL #14 这个想法可以有, 谢谢
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2691 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 07:21 PVG 15:21 LAX 00:21 JFK 03:21
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86