最近在公司遇到了很诡异的事情,公司有好几个环境,都是用 docker 起的服务,最近频繁出现 502 错误,
结果经过排查,最终的原因总是被定位到文件缺失,删除的文件也不固定,有的时候是项目文件,有的时候是项目配置文
件,最诡异的是删除 supervisor 的配置文件,导致定时任务无法运行
目前排除掉我们自己写的代码的问题,因为很少涉及到对磁盘的读写
你们有遇到过这样的问题吗?
1
virusdefender 2019-11-29 10:45:30 +08:00
我们也遇见见过。。某些文件莫名其妙消失,有的 py 文件莫名其妙变成了一个 binary,但是目前观测到了主机系统都是 centos,不知道和这个有啥关系。
|
2
szyp OP @virusdefender 那你们这个问题有周期吗,之前也有,只是没这么频繁,都是 20 几号开始出现,就很莫明奇妙
|
3
ai277014717 2019-11-29 11:08:05 +08:00
镜像来源可信? 容器有停止过,导致没有持久化的数据消失?
|
4
szyp OP @ai277014717 谢谢,用的是官方的 hub 镜像,重启过,但是不涉及到持久化那一部分,不是数据消失,是 docker 中的文件被删除
|
5
virusdefender 2019-11-29 13:18:53 +08:00
@szyp 没注意过,之前在测试的 centos 上频繁出现几次,后来推荐换了操作系统好像没事了;再˙之后,客户的线上发生过一两次,最近不在那个项目了,就不知道了
|
6
virusdefender 2019-11-29 13:22:40 +08:00
可以试试 docker save <image> > /dev/null,之前我们遇到问题有人说这样会有某种 integrity check,但是那时候没机会测试了,不知道是否可行
|
7
virusdefender 2019-11-29 13:23:24 +08:00 1
你的问题还是得首先 dmesg 看下是不是有磁盘的问题日志
|
8
hopingtop 2019-11-29 16:00:49 +08:00
|
9
idamien 2021-02-02 22:06:03 +08:00
不知道博主是否找到了解决方法,最近我们也遇到了类似的问题,tomcat 容器,webapp 消失. 问题是其他几个 tomcat 的 container 都没问题。 @szyp @hopingtop @virusdefender
|
10
idamien 2021-02-02 22:07:59 +08:00
我们是 vmware 虚拟 centos 7
|
11
fargo36 2021-02-22 20:25:56 +08:00
看一看我写的 https://mp.weixin.qq.com/s/65mU9i3OF2FXdHahEOAe-g 跟你的问题类似 ,是不是通过我的办法是不是可以解决你的问题
|