Linux 服务器硬盘满了后感觉会出不少 bug

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

Distributions

› Ubuntu

› Fedora

› CentOS

中文资源站

› 网易开源镜像站

这是一个创建于 55 天前的主题，其中的信息可能已经有所发展或是发生改变。

服务器上一直不停报错没注意，跑了几个月，竟然把 journal 的日志占满了。journal 日志一直没限制。后来清理的时候发现大概占了硬盘空间的 80%左右，其实是发现 ssh 登不上去了才发现这个问题。

商家的 vnc 也因为硬盘满了，tty 进不去。

还好进救援模式才进去了，不然只能重装了。一看是真的 100%，一点也没有空余空间了。

期间还发现了如果硬盘满了，挂载里面 loop 文件也挂载不上去，提示“块有问题”。清理完后就行了

后来复盘的时候才发现是一个 loop 硬盘满了，读写一直失败。导致宿主机一直记录这个失败日志，导致宿主机硬盘也满了。
硬盘满了后，感觉有不少软件会卡在 syslog 或者其他 log 函数上。很多软件都会出现预期之外的行为。

22 条回复 • 2024-09-24 11:07:25 +08:00

wacxr123

55 天前 via Android

确实，我的经验是如果按 Tab 无法自动补全路径，就知道是盘满了（

flynaj

55 天前 via Android

这个时候你就知道 zabbix 的好处了。

Donaldo

55 天前

我中招过几次，但我一堆服务器总是懒得去设置，其实可以设置一下 rotate 或者过期日期，要不迟早有满的一天。。。啊，好累。。。

Kumo31

55 天前

这些行为就是预期内的，只不过大部分软件的设计者就没考虑处理这种情况。我们还有一个专门的避免任何 IO 的程序去做这种情况下的节点降级处理

june4

55 天前

我自己写了个快满了无限 5 分钟发一次邮件的定时任务，放在我的 linux 服务器初始化安装脚本里。

#!/bin/bash -e
if [[ -f /etc/default/disk-usage-agent ]]; then
. /etc/default/disk-usage-agent
fi
max_usage=${max_usage:-90}
usage=$(df | grep -e '/$' | awk '{print $5}' | tr -d %)
if (( usage > max_usage )); then
warnmsg="WARNING: disk-usage-agent: exceeds max usage: $usage%"
echo $warnmsg >&2
df -h | /opt/util/bin/mailadmins "$warnmsg" -
fi