Linux 服务器硬盘满了后感觉会出不少 bug

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

Distributions

Ubuntu

Fedora

CentOS

中文资源站

网易开源镜像站

这是一个创建于 464 天前的主题，其中的信息可能已经有所发展或是发生改变。

服务器上一直不停报错没注意，跑了几个月，竟然把 journal 的日志占满了。journal 日志一直没限制。后来清理的时候发现大概占了硬盘空间的 80%左右，其实是发现 ssh 登不上去了才发现这个问题。

商家的 vnc 也因为硬盘满了，tty 进不去。

还好进救援模式才进去了，不然只能重装了。一看是真的 100%，一点也没有空余空间了。

期间还发现了如果硬盘满了，挂载里面 loop 文件也挂载不上去，提示“块有问题”。清理完后就行了

后来复盘的时候才发现是一个 loop 硬盘满了，读写一直失败。导致宿主机一直记录这个失败日志，导致宿主机硬盘也满了。
硬盘满了后，感觉有不少软件会卡在 syslog 或者其他 log 函数上。很多软件都会出现预期之外的行为。

硬盘

日志

满

22 条回复 2024-09-24 11:07:25 +08:00

wacxr123

2024-09-15 01:01:18 +08:00 via Android

确实，我的经验是如果按 Tab 无法自动补全路径，就知道是盘满了（

flynaj

2024-09-15 01:55:14 +08:00 via Android

这个时候你就知道 zabbix 的好处了。

Donaldo

2024-09-15 01:57:10 +08:00

我中招过几次，但我一堆服务器总是懒得去设置，其实可以设置一下 rotate 或者过期日期，要不迟早有满的一天。。。啊，好累。。。

Kumo31

2024-09-15 03:12:18 +08:00

这些行为就是预期内的，只不过大部分软件的设计者就没考虑处理这种情况。我们还有一个专门的避免任何 IO 的程序去做这种情况下的节点降级处理

june4

2024-09-15 08:00:30 +08:00

我自己写了个快满了无限 5 分钟发一次邮件的定时任务，放在我的 linux 服务器初始化安装脚本里。

#!/bin/bash -e
if [[ -f /etc/default/disk-usage-agent ]]; then
. /etc/default/disk-usage-agent
fi
max_usage=${max_usage:-90}
usage=$(df | grep -e '/$' | awk '{print $5}' | tr -d %)
if (( usage > max_usage )); then
warnmsg="WARNING: disk-usage-agent: exceeds max usage: $usage%"
echo $warnmsg >&2
df -h | /opt/util/bin/mailadmins "$warnmsg" -
fi