求助求助！阿里云服务器磁盘 IO 读经常突然飙到 100%，然后系统无响应。通过 iotop 又找不到哪个进程占用过多。
qwerthhusn · 2021-10-20 15:42:38 +08:00 · 704 次点击这是一个创建于 1141 天前的主题，其中的信息可能已经有所发展或是发生改变。
背景
- 这个服务器是测试用的，基本上没啥数据量也没啥吞吐量。
- Debian 10，没有用自定义镜像，就阿里云购买提供的，未替换源，apt update 到最新的，/挂载到系统盘，EXT4 文件系统
- /home 挂载到了买的云盘上，XFS 文件系统
IOTOP 描述
因为每天都要遇到一两次，然后我跑了一个iotop -b -o -t -d 5 > dump.txt &然后等再次发生，果然发生了，重启了，看到了 Disk IO 占用。我发现磁盘占满的那段时间内，找不到特别突出的进程线程，很多线程都是读速率在两三 M/s 。平常这些线程进程的读速率基本上是 0 。
系统里面跑了很多软件，Spring Boot，MySQL, Redis, Minio, go 应用, emqx 等。关键是这些进程都在吃 IO，每个读取速率都是两三 M/s 。所以请求大佬来看一下，指点迷津！！
12:34:05 Total DISK READ: 182.26 M/s | Total DISK WRITE: 119.75
12:34:05 Current DISK READ: 186.53 M/s | Current DISK WRITE: 125.37
TIME TID PRIO USER DISK READ DISK WRITE SWAPIN IO COMMA
12:34:05 8444 be/4 psip 2.48 M/s 0.00 B/s 0.00 % 99.04 % beam.sm
12:34:05 12839 be/4 root 2.44 M/s 0.00 B/s 0.00 % 98.99 % java -D
12:34:05 8441 be/4 psip 1889.68 K/s 0.00 B/s 0.00 % 98.97 % beam.sm
12:34:05 24098 be/4 psip 2.96 M/s 0.00 B/s 0.00 % 98.72 % curl ht
12:34:05 8446 be/4 psip 2.03 M/s 0.00 B/s 0.00 % 98.71 % beam.sm
12:34:05 8445 be/4 psip 2.15 M/s 0.00 B/s 0.00 % 98.52 % beam.sm
12:34:05 14206 be/4 zhys 2.66 M/s 0.00 B/s 0.00 % 98.17 % mysqld
12:34:05 3408 be/4 root 1534.19 K/s 0.00 B/s 0.00 % 97.99 % minio s
12:34:05 14207 be/4 zhys 2.72 M/s 0.00 B/s 0.00 % 97.93 % mysqld
12:34:05 3432 be/4 root 1665.20 K/s 0.00 B/s 0.00 % 96.09 % minio s
12:34:05 2097 be/4 systemd- 2.74 M/s 0.00 B/s 0.00 % 95.85 % redis-s
12:34:05 2970 be/4 root 2.05 M/s 0.00 B/s 0.00 % 95.74 % minio s
12:34:05 13382 be/4 root 2.63 M/s 5.94 K/s 0.00 % 94.65 % java -D
12:34:05 3060 be/4 root 1759.93 K/s 0.00 B/s 0.00 % 94.49 % minio s
12:34:05 3871 be/4 root 1776.81 K/s 0.00 B/s 0.00 % 92.10 % minio s
12:34:05 2965 be/4 root 1695.21 K/s 0.00 B/s 0.00 % 91.82 % minio s
12:34:05 3814 be/4 root 1308.14 K/s 0.00 B/s 0.00 % 90.26 % minio s
12:34:05 14134 be/4 root 2.52 M/s 0.00 B/s 0.00 % 89.58 % ./mtapi
12:34:05 13949 be/4 root 447.41 K/s 0.00 B/s 0.00 % 88.58 % java -D
12:34:05 13440 be/4 root 343.29 K/s 0.00 B/s 0.00 % 88.47 % java -D
12:34:05 12855 be/4 root 368.93 K/s 0.00 B/s 0.00 % 88.30 % java -D
12:34:05 13877 be/4 root 462.10 K/s 0.00 B/s 0.00 % 88.25 % java -D
12:34:05 2365 be/4 root 1691.46 K/s 0.00 B/s 0.00 % 84.96 % minio s
12:34:05 14020 be/4 zhys 2.32 M/s 0.00 B/s 0.00 % 84.44 % mysqld
12:34:05 14033 be/4 root 2.04 M/s 640.32 B/s 0.00 % 84.11 % java -D
12:34:05 13873 be/4 root 383.63 K/s 10.94 K/s 0.00 % 83.05 % java -D
12:34:05 13871 be/4 root 330.48 K/s 10.94 K/s 0.00 % 82.65 % java -D
12:34:05 14036 be/4 root 251.37 K/s 11.57 K/s 0.00 % 82.40 % java -D
12:34:05 13180 be/4 root 332.66 K/s 10.94 K/s 0.00 % 82.39 % java -D
12:34:05 13578 be/4 root 305.15 K/s 11.26 K/s 0.00 % 82.27 % java -D
12:34:05 13406 be/4 root 269.51 K/s 11.26 K/s 0.00 % 82.15 % java -D
12:34:05 12841 be/4 root 231.68 K/s 11.88 K/s 0.00 % 82.15 % java -D
12:34:05 14026 be/4 root 2026.94 K/s 0.00 B/s 0.00 % 80.44 % java -D
12:34:05 13159 be/4 root 1495.74 K/s 2.19 K/s 0.00 % 78.83 % java -D
12:34:05 2839 be/4 root 1306.58 K/s 0.00 B/s 0.00 % 77.57 % minio s
12:34:05 13396 be/4 root 403.01 K/s 0.00 B/s 0.00 % 73.34 % java -D
12:34:05 13839 be/4 root 407.39 K/s 0.00 B/s 0.00 % 73.26 % java -D
12:34:05 13564 be/4 root 327.97 K/s 0.00 B/s 0.00 % 73.25 % java -D
12:34:05 12831 be/4 root 506.19 K/s 0.00 B/s 0.00 % 70.95 % java -D
12:34:05 24054 be/4 root 1658.32 K/s 0.00 B/s 0.00 % 70.37 % java -D
12:34:05 3428 be/4 root 1128.37 K/s 0.00 B/s 0.00 % 70.22 % minio s
12:34:05 14262 be/4 root 471.17 K/s 0.00 B/s 0.00 % 69.96 % java -D
12:34:05 13854 be/4 root 1483.86 K/s 3.75 K/s 0.00 % 69.45 % java -D
12:34:05 13623 be/4 root 358.30 K/s 0.00 B/s 0.00 % 68.73 % java -D
12:34:05 14333 be/4 root 273.26 K/s 0.00 B/s 0.00 % 68.13 % java -D
12:34:05 14326 be/4 root 274.20 K/s 0.00 B/s 0.00 % 67.62 % java -D
12:34:05 3982 be/4 root 1476.35 K/s 0.00 B/s 0.00 % 65.15 % minio s
12:34:05 14400 be/4 zhys 1831.84 K/s 0.00 B/s 0.00 % 64.84 % mysqld
12:34:05 13359 be/4 root 1918.76 K/s 1280.63 B/s 0.00 % 64.32 % java -D
12:34:05 854 be/2 root 7.38 M/s 0.00 B/s 0.00 % 62.73 % AliYunD
12:34:05 21119 be/4 root 8.14 M/s 5.32 K/s 0.00 % 58.38 % python3
12:34:05 14362 be/4 zhys 1518.25 K/s 0.00 B/s 0.00 % 56.17 % mysqld
12:34:05 13757 be/4 zhys 1156.51 K/s 0.00 B/s 0.00 % 55.86 % mysqld
12:34:05 2906 be/4 root 1172.77 K/s 0.00 B/s 0.00 % 54.87 % minio s
12:34:05 14068 be/4 root 223.23 K/s 0.00 B/s 0.00 % 53.19 % java -D
12:34:05 14283 be/4 root 963.60 K/s 0.00 B/s 0.00 % 52.01 % java -D
12:34:05 13966 be/4 zhys 1648.31 K/s 0.00 B/s 0.00 % 51.51 % mysqld
12:34:05 24080 be/4 root 1253.12 K/s 0.00 B/s 0.00 % 50.58 % java -D
12:34:05 24095 be/4 root 1298.76 K/s 0.00 B/s 0.00 % 48.91 % java -D
12:34:05 24075 be/4 root 1210.28 K/s 0.00 B/s 0.00 % 46.67 % java -D
12:34:05 13925 be/4 root 258.25 K/s 0.00 B/s 0.00 % 46.58 % java -D
12:34:05 13177 be/4 root 1190.27 K/s 0.00 B/s 0.00 % 46.50 % java -D
12:34:05 772 be/4 root 5.74 M/s 960.47 B/s 0.00 % 45.72 % aliyun-
12:34:05 13365 be/4 root 1103.04 K/s 0.00 B/s 0.00 % 42.59 % java -D
12:34:05 14021 be/4 root 893.25 K/s 1920.95 B/s 0.00 % 40.61 % java -D
12:34:05 14018 be/4 root 151.64 K/s 0.00 B/s 0.00 % 39.66 % java -D
12:34:05 2306 be/4 root 3.48 M/s 0.00 B/s 0.00 % 38.32 % dockerd
12:34:05 14414 be/4 root 101.93 K/s 0.00 B/s 0.00 % 37.98 % java -D
12:34:05 853 be/2 root 3.18 M/s 0.00 B/s 0.00 % 36.45 % AliYunD
12:34:05 14363 be/4 root 191.97 K/s 0.00 B/s 0.00 % 35.80 % java -D
12:34:05 13356 be/4 root 906.38 K/s 0.00 B/s 0.00 % 35.42 % java -D
12:34:05 850 be/2 root 3.39 M/s 0.00 B/s 0.00 % 33.31 % AliYunD
12:34:05 13755 be/4 zhys 293.58 K/s 0.00 B/s 0.00 % 32.86 % mysqld
12:34:05 13756 be/4 zhys 308.59 K/s 0.00 B/s 0.00 % 32.61 % mysqld
12:34:05 13754 be/4 zhys 198.54 K/s 0.00 B/s 0.00 % 32.60 % mysqld
12:34:05 13853 be/4 root 207.29 K/s 0.00 B/s 0.00 % 31.58 % java -D
12:34:05 881 be/2 root 3.83 M/s 0.00 B/s 0.00 % 30.80 % AliYunD
12:34:05 13987 be/4 zhys 839.79 K/s 0.00 B/s 0.00 % 28.86 % mysqld
12:34:05 14230 be/4 root 546.52 K/s 0.00 B/s 0.00 % 28.64 % java -D
12:34:05 13416 be/4 root 97.55 K/s 0.00 B/s 0.00 % 27.82 % java -D
12:34:05 860 be/2 root 3.08 M/s 0.00 B/s 0.00 % 27.75 % AliYunD
12:34:05 13591 be/4 zhys 120.37 K/s 0.00 B/s 0.00 % 26.13 % mysqld
12:34:05 13597 be/4 zhys 70.35 K/s 0.00 B/s 0.00 % 26.12 % mysqld
12:34:05 13593 be/4 zhys 61.59 K/s 0.00 B/s 0.00 % 26.12 % mysqld
12:34:05 13594 be/4 zhys 46.90 K/s 0.00 B/s 0.00 % 26.11 % mysqld
12:34:05 13589 be/4 zhys 38.46 K/s 0.00 B/s 0.00 % 26.11 % mysqld
12:34:05 13595 be/4 zhys 68.78 K/s 0.00 B/s 0.00 % 26.10 % mysqld
12:34:05 13592 be/4 zhys 65.34 K/s 0.00 B/s 0.00 % 26.09 % mysqld
12:34:05 13590 be/4 zhys 60.03 K/s 0.00 B/s 0.00 % 26.09 % mysqld
12:34:05 13598 be/4 zhys 91.92 K/s 0.00 B/s 0.00 % 26.08 % mysqld
12:34:05 13596 be/4 zhys 60.34 K/s 0.00 B/s 0.00 % 26.07 % mysqld
12:34:05 13614 be/4 zhys 115.06 K/s 0.00 B/s 0.00 % 25.28 % mysqld
12:34:05 13611 be/4 zhys 58.47 K/s 0.00 B/s 0.00 % 25.27 % mysqld
12:34:05 13613 be/4 zhys 100.05 K/s 0.00 B/s 0.00 % 25.26 % mysqld
12:34:05 13608 be/4 zhys 112.87 K/s 0.00 B/s 0.00 % 25.25 % mysqld
12:34:05 13601 be/4 zhys 76.29 K/s 0.00 B/s 0.00 % 25.24 % mysqld
12:34:05 13612 be/4 zhys 99.42 K/s 0.00 B/s 0.00 % 25.22 % mysqld
12:34:05 13602 be/4 zhys 64.72 K/s 0.00 B/s 0.00 % 25.18 % mysqld
12:34:05 13600 be/4 zhys 65.34 K/s 0.00 B/s 0.00 % 25.14 % mysqld
12:34:05 689 be/4 root 3.47 M/s 0.00 B/s 0.00 % 23.75 % aliyun-
12:34:05 13599 be/4 zhys 340.17 K/s 0.00 B/s 0.00 % 23.49 % mysqld
12:34:05 885 be/2 root 1241.55 K/s 0.00 B/s 0.00 % 22.78 % AliYunD
12:34:05 14493 be/4 zhys 674.39 K/s 0.00 B/s 0.00 % 22.26 % mysqld
12:34:05 688 be/4 root 3.68 M/s 0.00 B/s 0.00 % 22.03 % aliyun-
12:34:05 14301 be/4 root 498.37 K/s 0.00 B/s 0.00 % 21.94 % java -D
12:34:05 771 be/4 root 2.63 M/s 0.00 B/s 0.00 % 21.66 % aliyun-
12:34:05 13894 be/4 zhys 553.40 K/s 0.00 B/s 0.00 % 21.51 % mysqld
12:34:05 783 be/4 root 2.13 M/s 0.00 B/s 0.00 % 21.27 % AliYunD
12:34:05 883 be/2 root 1234.36 K/s 0.00 B/s 0.00 % 21.19 % AliYunD
12:34:05 8723 be/4 psip 517.44 K/s 0.00 B/s 0.00 % 20.93 % tail -f
12:34:05 14260 be/4 root 105.99 K/s 0.00 B/s 0.00 % 20.23 % java -D
12:34:05 14241 be/4 root 458.66 K/s 0.00 B/s 0.00 % 20.21 % java -D
12:34:05 13158 be/4 root 93.17 K/s 0.00 B/s 0.00 % 19.95 % java -D
12:34:05 14457 be/4 zhys 632.81 K/s 0.00 B/s 0.00 % 19.91 % mysqld
12:34:05 24083 be/4 root 313.90 K/s 0.00 B/s 0.00 % 19.73 % java -D
12:34:05 14193 be/4 root 431.78 K/s 0.00 B/s 0.00 % 19.62 % ./mtapi
12:34:05 14264 be/4 root 121.00 K/s 0.00 B/s 0.00 % 18.56 % java -D
12:34:05 14288 be/4 root 126.31 K/s 0.00 B/s 0.00 % 18.34 % java -D
12:34:05 14285 be/4 root 54.09 K/s 0.00 B/s 0.00 % 18.34 % java -D
12:34:05 14243 be/4 root 116.93 K/s 0.00 B/s 0.00 % 18.32 % java -D
12:34:05 13162 be/4 root 155.70 K/s 0.00 B/s 0.00 % 18.31 % java -D
12:34:05 877 be/2 root 1582.03 K/s 0.00 B/s 0.00 % 18.09 % AliYunD
12:34:05 8428 be/4 psip 377.06 K/s 0.00 B/s 0.00 % 17.71 % beam.sm
12:34:05 13884 be/4 root 227.61 K/s 0.00 B/s 0.00 % 17.22 % java -D
12:34:05 13411 be/4 root 211.04 K/s 0.00 B/s 0.00 % 16.77 % java -D
12:34:05 13792 be/4 root 330.79 K/s 0.00 B/s 0.00 % 16.77 % java -D
12:34:05 14295 be/4 root 401.14 K/s 0.00 B/s 0.00 % 16.57 % java -D
12:34:05 13849 be/4 root 64.09 K/s 0.00 B/s 0.00 % 16.20 % java -D
12:34:05 13565 be/4 root 79.73 K/s 0.00 B/s 0.00 % 16.20 % java -D
12:34:05 12833 be/4 root 80.35 K/s 0.00 B/s 0.00 % 16.20 % java -D
12:34:05 13398 be/4 root 71.91 K/s 0.00 B/s 0.00 % 16.16 % java -D
12:34:05 816 be/4 root 2.30 M/s 0.00 B/s 0.00 % 15.94 % python3
12:34:05 14499 be/4 zhys 427.71 K/s 0.00 B/s 0.00 % 15.90 % mysqld
12:34:05 13015 be/4 root 101.93 K/s 0.00 B/s 0.00 % 15.86 % java -D
12:34:05 14090 be/4 root 70.66 K/s 0.00 B/s 0.00 % 15.21 % java -D
12:34:05 14091 be/4 root 101.93 K/s 0.00 B/s 0.00 % 15.21 % java -D
12:34:05 13846 be/4 root 121.94 K/s 0.00 B/s 0.00 % 15.18 % java -D
12:34:05 884 be/2 root 1064.90 K/s 0.00 B/s 0.00 % 15.03 % AliYunD
12:34:05 857 be/2 root 1427.58 K/s 0.00 B/s 0.00 % 14.93 % AliYunD
12:34:05 1836 be/4 root 997.37 K/s 0.00 B/s 0.00 % 14.82 % dockerd
12:34:05 14312 be/4 root 277.01 K/s 0.00 B/s 0.00 % 14.70 % java -D
12:34:05 862 be/4 root 1163.70 K/s 0.00 B/s 0.00 % 14.64 % dockerd
12:34:05 2417 be/4 root 1117.74 K/s 0.00 B/s 0.00 % 14.53 % dockerd
12:34:05 14192 be/4 root 310.78 K/s 0.00 B/s 0.00 % 14.53 % ./mtapi
12:34:05 14280 be/4 root 139.76 K/s 0.00 B/s 0.00 % 14.32 % java -D
12:34:05 880 be/2 root 643.44 K/s 0.00 B/s 0.00 % 14.17 % AliYunD
12:34:05 865 be/4 root 1049.89 K/s 0.00 B/s 0.00 % 14.12 % dockerd
12:34:05 13753 be/4 zhys 401.76 K/s 0.00 B/s 0.00 % 13.81 % mysqld
12:34:05 867 be/2 root 3.05 M/s 0.00 B/s 0.00 % 13.81 % AliYunD
12:34:05 882 be/2 root 678.15 K/s 0.00 B/s 0.00 % 13.72 % AliYunD
12:34:05 14233 be/4 root 25.01 K/s 0.00 B/s 0.00 % 13.57 % java -D
12:34:05 14191 be/4 root 347.67 K/s 0.00 B/s 0.00 % 13.07 % ./mtapi
12:34:05 14265 be/4 root 56.59 K/s 0.00 B/s 0.00 % 12.93 % java -D
12:34:05 13016 be/4 root 81.29 K/s 0.00 B/s 0.00 % 12.63 % java -D
12:34:05 788 be/4 root 1631.74 K/s 0.00 B/s 0.00 % 12.63 % contain
12:34:05 852 be/4 root 1027.69 K/s 7.19 K/s 0.00 % 12.54 % AliYunD
12:34:05 686 be/4 root 943.59 K/s 0.00 B/s 0.00 % 12.15 % aliyun-
12:34:05 13893 be/4 zhys 267.32 K/s 0.00 B/s 0.00 % 11.99 % mysqld
12:34:05 822 be/4 root 1201.22 K/s 0.00 B/s 0.00 % 11.60 % contain
12:34:05 24101 be/4 root 257.63 K/s 0.00 B/s 0.00 % 11.39 % java -D
12:34:05 785 be/4 root 827.28 K/s 0.00 B/s 0.00 % 11.20 % contain
12:34:05 14234 be/4 root 68.47 K/s 0.00 B/s 0.00 % 11.00 % java -D
12:34:05 14200 be/4 root 111.30 K/s 0.00 B/s 0.00 % 10.86 % java -D
12:34:05 14199 be/4 root 138.19 K/s 0.00 B/s 0.00 % 10.85 % java -D
12:34:05 24079 be/4 root 286.70 K/s 0.00 B/s 0.00 % 10.67 % java -D
12:34:05 869 be/2 root 1048.33 K/s 0.00 B/s 0.00 % 10.65 % AliYunD
12:34:05 14224 be/4 root 200.72 K/s 0.00 B/s 0.00 % 10.17 % java -D
12:34:05 780 be/4 root 1172.45 K/s 0.00 B/s 0.00 % 9.78 % assist_
12:34:05 855 be/2 root 1118.99 K/s 0.00 B/s 0.00 % 9.76 % AliYunD
12:34:05 14335 be/4 root 109.12 K/s 0.00 B/s 0.00 % 9.60 % java -D
12:34:05 14290 be/4 root 75.35 K/s 0.00 B/s 0.00 % 8.56 % java -D
12:34:05 14060 be/4 root 44.40 K/s 0.00 B/s 0.00 % 8.41 % java -D
 |
1
qwerthhusn OP 我感觉我是不是被太多人屏蔽了，还是被系统降级了
最近发的贴基本上都是秒沉。。。。。。。。。 |
|
2
qwerthhusn OP 12:23:19 21119 be/4 root 1479.38 K/s 12.52 K/s 0.00 % 0.87 % python3 /usr/sbin/iotop -b -o -t -d 5
|
|
3
qwerthhusn OP 我发现 iotop 的磁盘读取速度竟然也能打到 1M/s 多，，，
|
Select Language