容器化环境中有什么办法可以把日志文件同步到其他存储介质上？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 864 天前的主题，其中的信息可能已经有所发展或是发生改变。

Java 服务，部署在一个容器化环境中，容器镜像是部署平台构建好的，使用方只能丢一个 jar 包上去按照平台预设的命令启动（这个命令可以进行调整），有什么办法可以自动化把日志文件或者日志内容传输到其他的存储介质上吗？比如对象存储等等

容器

日志

介质

存储

30 条回复

THESDZ

2022-07-11 20:03:01 +08:00

容器-v 可以吗?不可以的话,日志的框架能支持其他输出源吗?

q1angch0u

2022-07-11 20:03:53 +08:00 via iPhone

log4j + customappender 呢…

superbai

2022-07-11 20:05:16 +08:00

@THESDZ #1 容器自身上面什么都改不了。日志框架是 log4j ，刚才搜了下也没搜到有用的

superbai

2022-07-11 20:05:27 +08:00

@q1angch0u #2 感谢，我去瞅瞅

mimzy

2022-07-11 20:05:59 +08:00

我理解理想状态是平台支持用 sidecar 采集日志，业务不必操心这些。

superbai

2022-07-11 20:07:40 +08:00

@mimzy #5 是啊，这样最好了。现在是平台有些问题不好解决，就想看看从使用方能不能解决下这个问题

cslive

2022-07-11 20:16:49 +08:00

log4j 不是支持将日志文件存在指定目录下吗

superbai

2022-07-11 20:19:52 +08:00

@cslive #7 嗯，不是要存储指定目录，是要转存到非容器的存储介质上

my3157

2022-07-11 20:26:13 +08:00 via Android

loki 了解下

XiLingHost

2022-07-11 20:58:46 +08:00

https://github.com/bluedenim/log4j-s3-search

joesonw

2022-07-11 21:00:15 +08:00 via iPhone

都上容器了，打 stdout 啊。在宿主机上采集处理。

S2Line

2022-07-11 21:16:50 +08:00 via iPhone

挂载到宿主机上，然后转存到目的存储介质

superbai

2022-07-11 23:32:27 +08:00

@my3157 #9 感谢，我看看

superbai

2022-07-11 23:32:42 +08:00

@XiLingHost #10 感谢分享，我看看能不能用

superbai

2022-07-11 23:33:34 +08:00

@joesonw #11
@S2Line #12 宿主机做不了任何改动。就是整个容器化部署平台不是我们的，所以没办法改各种配置等等，推动升级也比较费力

ccde8259

2022-07-12 01:51:04 +08:00 via iPhone

Pod 里面多个 filebeat 容器，推到 ES 上

potatowish

2022-07-12 08:51:02 +08:00 via iPhone

logstash 应该可以

zr8657

2022-07-12 08:55:17 +08:00

我之前遇到过这种情况，建议不用搞。后面平台方自己会加上类似 loki 这种日志功能的，你现在搞了也是白干活

photon006

2022-07-12 09:16:17 +08:00

宿主机 elk 采集

tramm

2022-07-12 10:03:28 +08:00

用推送日志的插件啥的, 比如我们有个服务就是直接发送到 logstash...

yimiaoxiehou

2022-07-12 10:17:15 +08:00

filebeat 直接监听整个 docker 的私有 log ，然后推倒 kafka 然后在 logback + es ，或者是直接到自己的日志系统

defunct9

2022-07-12 10:19:53 +08:00

部署平台不是自己的话。基本从 k8s 层面上不可搞。S3 Log4j Appender 是正解。

yimiaoxiehou

2022-07-12 10:19:59 +08:00

类似这个路径 cat /data/docker/containers/27323ca9ba78a4dc781a4ce19a4478cbc372288193dd0f75117742bbc8e96aa7/27323ca9ba78a4dc781a4ce19a4478cbc372288193dd0f75117742bbc8e96aa7-json.log

/data/docker 是我的 docker-dir 默认应该是

nilai

2022-07-12 11:13:10 +08:00

增加 skywalking 的 sidecar 0 代码侵入，全链路监控搞得明明白白的。

litchinn

2022-07-12 12:23:43 +08:00

部署的机器一点都不能动的话，好像只有 10 楼说的 appendor 这种方式了，不然像 promtail 什么的都可以采集，docker 还有 loki 的插件。

frank1256

2022-07-12 13:10:34 +08:00

fileBeat ，就够了

liuliangyz

2022-07-12 13:11:14 +08:00

容器-v 指向实体路径

superbai

2022-07-12 13:32:14 +08:00

@zr8657 #18 没办法，现在有平台有急需的功能不支持，只能自己动手先凑合用下了

superbai

2022-07-12 13:32:33 +08:00

@defunct9 #22
@litchinn #25 嗯嗯，感谢，我试试

superbai

2022-07-12 13:33:30 +08:00

@ccde8259 #16
@potatowish #17
@photon006 #19
@tramm #20
@yimiaoxiehou #21
@yimiaoxiehou #23
@nilai #24
@frank1256 #26
@liuliangyz #27 感谢大家~容器、镜像、平台都无法改动，只能从程序自身入手了~