请教一下 Java 怎样写文件比较快 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dltsgl
V2EX    问与答

请教一下 Java 怎样写文件比较快

  • &bsp;
  •   dltsgl 2017 年 7 月 14 日 4359 次点击
    这是一个创建于 3173 天前的主题,其中的信息可能已经有所发展或是发生改变。
    一个 30 万条的大 list,逐条写到 txt 文件里,一条数据对应一行,用什么方法比较好?
    现在用 PrintWriter 的 println 一行一行写,写一行要 10ms 左右,30 万行要 1 个小时左右,太慢了。
    请教一下,应该怎样写比较快?
    18 条回复    2017-07-15 18:33:23 +08:00
    anyele
        1
    anyele  
       2017 年 7 月 14 日 via Android   1
    1 小时? 我试过 Excel to txt,一行一行写,5 万行的 Excel 只需要 4-5 秒
    ByteRan
        2
    ByteRan  
       2017 年 7 月 14 日   1
    list 转 string,然后用回车分割.然后一次性写到 txt 文件里.
    ihuotui
        3
    ihuotui  
       2017 年 7 月 14 日 via iPhone   1
    nio
    af463419014
        4
    af463419014  
       2017 年 7 月 14 日   1
    nio+1
    hcymk2
        5
    hcymk2  
       2017 年 7 月 14 日   1
    java youclass > res.txt
    看下要花多长时间。
    Accldent
        6
    Accldent  
       2017 年 7 月 14 日   1
    先用 profiler 分析下大部分时间花在了哪儿再决定怎么优化,但是这种场景用 NIO 得不到质的提升,只是从数据流变成数据块
    Finest
        7
    Finest  
       2017 年 7 月 14 日   1
    看看磁盘的 IO 性能先
    hyperdak
        8
    hyperdak  
       2017 年 7 月 14 日   1
    List<String> list = Lists.newArrayList();
    FileUtils.writeLines(new File("e:\\abcdddd.txt"), "utf-8", list);

    啷个阔能一小时嘛?
    zael
        9
    zael  
       2017 年 7 月 14 日   1
    @hyperdak #8 FileUtils 是哪个包下的?
    FreeFd
        10
    FreeFd  
       2017 年 7 月 14 日 via Android   1
    其实多线程写也可以呀,类似于多线程下载的技术
    sagaxu
        11
    sagaxu  
       2017 年 7 月 14 日 via Android   1
    @FreeFd 多线程写可能会更慢
    iEverX
        12
    iEverX  
       2017 年 7 月 15 日   1
    只是第一行 10ms 吧,之后是顺序写,不可能一直 10ms
    autulin
        13
    autulin  
       2017 年 7 月 15 日 via Android   1
    nio+内存映射
    FreeFd
        14
    FreeFd  
       2017 年 7 月 15 日 via Android   1
    @sagaxu 如果瓶颈不是在磁盘 io 上,多线程更快些的。
    DCjanus
        15
    DCjanus  
       2017 年 7 月 15 日   1
    持续写入,性能瓶颈主要在磁盘 IO。
    猜测其中可优化点:
    1. 使用 buffer 减少磁盘 IO 次数
    2. 一次性创建所需大小的文件后再写入,在大多数文件系统上可以获得更好的效率

    详细解释:
    1. 磁盘每次写入,不管是写入 1 个字节还是 1K 字节,只要在一定范围内,时间相差不多,所以尽量攒够一波再写入
    2. 每次都是追加文件尾,文件系统一开始并不知道你的文件大小,一开始先创建一个恰当大小的文件,文件系统更容易做出优化,不同的文件系统实现不同,此处略去。

    相关参考:
    1. 创建特定大小文件: http://jk-t.iteye.com/blog/1930414
    2. 使用 BufferedWriter 写文件
    Valyrian
        16
    Valyrian  
       2017 年 7 月 15 日   1
    明显是没 buffer 吧。。
    hyperdak
        17
    hyperdak  
       2017 年 7 月 15 日
    @liygheart commons io
    ihuotui
        18
    ihuotui  
       2017 年 7 月 15 日 via iPhone
    加上 4k 才刷盘,这样比较好,或者更大块,硬盘都是大块速度快,小文件慢
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3050 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 13:21 PVG 21:21 LAX 06:21 JFK 09:21
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86