请教个 du df ls 磁盘满的问题 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
2NUT
V2EX    Linux

请教个 du df ls 磁盘满的问题

  •  
  •   2NUT 2022-11-24 17:46:25 +08:00 2213 次点击
    这是一个创建于 1128 天前的主题,其中的信息可能已经有所发展或是发生改变。

    考察家目录, 可能存在大量稀疏文件:

    • df 看是 占用 100% 占用 216509100 KB

      Filesystem 1K-blocks Used Available Use% Mounted on /dev/sda3 228169132 216509100 0 100% /home 
    • du -s . 看 结果为 216447608 KB

    • find . | xargs ls -l | awk '{s+=$5}END{print s/1024}' 看大概 4.32343+e8 Byte

    • find . -type f | xargs ls -s | awk '{s+=$5}END{print s/1024}' 看结果为 216167656 KB

    • find . -type f | xargs du -c 看结果为 7893728 KB

    • find . -type f | xargs du -c --apparent-size 看结果为 1592288 KB

    哪哪都不一样, 非常费解, 请教大家

    第 1 条附言    2022-11-24 22:44:30 +08:00
    find . | xargs ls -l | awk '{s+=$5}END{print s/1024}' 看大概 **4.32343+e8 Byte** 

    写错了, ls -l 对 目录 和 文件的输出格式不同, awk 统计错了;

    更正为

    • find * -type f | xargs ls -l | awk '{s+=$5}END{print s/1024} 结果为 2.16031+e8 B

    或者:

    • find * -type d | xargs ls -l | grep total |awk '{s+=$2}END{print s}' 结果为 216447484 KB
    11 条回复    2022-12-09 17:34:26 +08:00
    xyjincan
        1
    xyjincan  
       2022-11-24 20:40:51 +08:00 via Android
    有问题重启一下,没问题删点东西
    ho121
        2
    ho121  
       2022-11-24 20:53:53 +08:00 via Android
    ls -als
    第一列,就是实际占用大小
    zhoudaiyu
        3
    zhoudaiyu  
    PRO
       2022-11-24 21:21:35 +08:00
    lsof -a +L1 挂载点
    看一下是不是又被删了但是程序还在往里面写的文件
    2NUT
        4
    2NUT  
    OP
       2022-11-24 22:23:20 +08:00
    @zhoudaiyu 没有任何输出
    2NUT
        5
    2NUT  
    OP
       2022-11-24 22:24:41 +08:00
    @ho121 第一列其实就是 上面 ls -s 显示的, 我通过 find 所有文件 再加和统计过了 是 216GB 确实是满了

    不理解的就是 du -c 统计的 只有 7.8 GB, 似乎是稀疏文件, 但文件系统 被稀疏文件塞满了?
    2NUT
        6
    2NUT  
    OP
       2022-11-24 22:50:57 +08:00
    更正

    find * -type f | xargs du -c --apparent-size 结果为 6260885 KB

    find * -type f | xargs du -c 结果为 6246052 KB

    也就是说 其实现在的 区别就是 ls -l 和 du -c 统计结果不通 这一个矛盾, 考虑到 稀疏文件的影响, 确实 du 实际文件占用大小就是 6.x GB, 而文件的 表观大小 是 216 GB;

    ext4 文件系统处理 稀疏文件的行为是如何的?
    edis0n0
        7
    edis0n0  
       2022-11-24 23:05:16 +08:00   1
    重启 nginx 试试,nginx 上传没落盘就是稀疏文件,我们几次出现这问题都是上传接口被刷了
    julyclyde
        8
    julyclyde  
       2022-11-25 08:46:54 +08:00   1
    @edis0n0 nginx 还支持上传稀疏文件??
    咱们对稀疏文件的理解是不是不同啊?
    edis0n0
        9
    edis0n0  
       2022-11-25 13:47:36 +08:00   1
    @julyclyde nginx 往 client_body_temp_path 写的都是统计不到的稀疏文件,之前我们遇到这问题也排查了半天
    julyclyde
        10
    julyclyde  
       2022-11-25 14:07:09 +08:00
    @edis0n0 核实一下
    是 sparse
    还是“打开之后删除”的文件?
    JohnBull
        11
    JohnBull  
       2022-12-09 17:34:26 +08:00
    @julyclyde 哈哈
    关于     帮助文档    自助推广系统     博客     API     FAQ     Solana     2527 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 01:27 PVG 09:27 LAX 17:27 JFK 20:27
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86