提交到 yarn 上的 spark 程序中的 log4j 信息怎么保存到 hdfs 某个目录？
wudc · 2017-12-29 16:40:37 +08:00 · 3424 次点击这是一个创建于 2522 天前的主题，其中的信息可能已经有所发展或是发生改变。
写好了一个 spark job，用 crontab 定时跑，但是 spark 的 console 输出信息无法保存，后来在程序中用 log4j 打印日志，但是在集群中运行的程序 日志存放位置不太好整，就想着要不就存放到 hdfs，但是没有查到这方面的实现方法，在这里请各位帮忙指点。谢谢。
 |
1
billlee 2017-12-29 20:18:59 +08:00
history server
|
 |
2
kex0916 2017-12-29 21:05:54 +08:00
spark 的日志可以分为 driver 端和 executor 端的日志，你说的 spark 的 console 输出应该主要指的是 yarn client 模式吧
executor 端日志由于你本身是在 yarn 上执行的，可以配置 yarn.log-aggregation-enable=true 来开启日志聚合，这个功能会把 container 的日志收集到 hdfs 上，开启后可以通过 yarn logs -applicationId 命令来获取 yarn 应用的日志，也就能得到 spark on yarn 应用的 executor 端日志 driver 端日志(这里主要是 yarn client 模式)可以定制 HdfsAppender 在 log4j 里配置该 appender 可以保存到 hdfs。 另外可以配置 history server 里面可以看到已经执行应用的信息 更专业点可以考虑用 flume 来收集日志 |
Select Language