大家在linux下打开过10G的大文件进行编辑吗? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
yaotian
V2EX    程序员

大家在linux下打开过10G的大文件进行编辑吗?

  •  
  •   yaotian 2013 年 5 月 22 日 13807 次点击
    这是一个创建于 4640 天前的主题,其中的信息可能已经有所发展或是发生改变。
    如果你用vim的话,就很悲剧。

    收集一下你们的做法。
    19 条回复    2015-10-03 03:26:24 +08:00
    cloudzhou
        1
    cloudzhou  
       2013 年 5 月 22 日
    你是真的需要编辑呢?(大部分都是不需要的)
    还是只是为了查看相关内容
    一般 sed 和 grep 能解决大部分的需求
    molinxx
        2
    molinxx  
       2013 年 5 月 22 日
    10G还真没试过,1G左右的经常~VIM还好,要等20秒左右加载完成,opensuse系统1230V2的U
    molinxx
        3
    molinxx  
       2013 年 5 月 22 日
    只查看还是用less,编辑还是sed awk吧~
    hadoop
        4
    hadoop  
       2013 年 5 月 22 日 via Android
    @molinxx vim这种必须在文件打开时一次性load进来,完全可以只load一部分,剩下的都用户定位到那里再load。而且我猜测vim内部是不是组织文件内容时需要额外的内存消耗,打开1g文件一般vim占用内存一般要大于1g
    cassyfar
        5
    cassyfar  
       2013 年 5 月 22 日
    我也在想这个问题
    lululau
        6
    lululau  
       2013 年 5 月 22 日
    有一种特例,可以用dd来完成,速度很快,例如,如果要将 bigfile 中的第 m 个字节到第 n 个字节(从1开始)替换成字符串 x, 且x的长度为 (m-n+1),那么可以用命令 dd 来完成编辑:

    echo -n x | dd of=bigfile seek=$((m-1)) bs=1 count=$((m-n+1)) cOnv=notrunc
    molinxx
        7
    molinxx  
       2013 年 5 月 22 日
    @hadoop 1G左右的话只有刚加载的时候会占用些内存,打开之后就没那么多了~
    RisingV
        8
    RisingV  
       2013 年 5 月 22 日
    我的第一反映是,windows直接趴下
    slimbloody
        9
    slimbloody  
       2013 年 5 月 22 日
    很想知道你为什么要编辑一个10G的文件?这个文件的作用和类型是什么
    reusFork
        10
    reusFork  
       2013 年 5 月 22 日
    sed啊…
    yaotian
        11
    yaotian  
    OP
       2013 年 5 月 22 日
    clino
        12
    clino  
       2013 年 5 月 22 日
    hexedit 这个也算编辑吧? 嘿嘿
    VYSE
        13
    VYSE  
       2013 年 5 月 22 日
    多数Editor会预载到内存,HEX EDITOR更适合一些。推荐wxHexEditor,追赶WINHEX的LINUX下HEX编辑器
    vking
        14
    vking  
       2013 年 5 月 22 日
    @RisingV notepad++(或其他似器)的异步加载比你想象中的猛.
    ForgotFun
        15
    ForgotFun  
       2013 年 5 月 23 日
    32位系统上肯定是打不开10G的文件的,因为默认系统调用open不支持大于4G文件,除非用open64或者BIG_FIRLE 参数.
    46fo
        16
    46fo  
       2013 年 5 月 23 日 via iPhone
    @RisingV 你out了。ue就能打开。亲测
    williamx
        17
    williamx  
       2013 年 5 月 23 日
    说说看是什么类型的文件,让我长长见识啊!
    tuoxie007
        18
    tuoxie007  
       2013 年 5 月 23 日 via iPad
    我也就用more看看log,随便就好多个G
    butfly
        19
    butfly  
       2015 年 10 月 3 日
    楼上都太孤陋寡闻了。编辑过 svnadmin dump 出来的 10G 的文件么?没办法…… load 的时候报错……

    PS , windows 下新点的编辑器都没问题的。当然还在用 x86 的就不说了。

    听说 joe 可以部分加载。 1G 文件只占 50M 内存。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     4732 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 56ms UTC 01:49 PVG 09:49 LAX 17:49 JFK 20:49
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86