如题,个人项目,不需要做到商业程度严谨,但是基于多组件和分布式,我个人想法是让它能跑的时间长一点,维护尽量轻松。我感觉搞个合适的日志汇总、故障自动分析排查这些东西应该是能有效提高维护效率。
现在后端一般搞微服务的日志是怎么做的?是有后端框架的全套里带吗,比如 springcloud 里带?还是有其他的常用组件?还是基于类似 kafka 这种自己搭服务?没啥经验,一般是咋搞的?
1
morgan1freeman 256 天前
携程用的 log4j 后面 套的是 es ,你可以考虑试试
|
2
morgan1freeman 256 天前
clickhouse 忘记说了
|
3
ikas 256 天前 1
轻量级 ,使用 loki 全家桶
新的可以考虑 opentelemetry |
4
timethinker 256 天前 via iPhone 1
日志分为写和读两个步骤,这两个步骤完全是分离的。日常开发还是写入到文件,存储到磁盘,说白了日志就是一个文本文件,在写的阶段什么顺手用什么。
日志的处理就比较庞大了,包括收集日志文件、存储、索引和查询,每一个步骤都有很多开源的选择,这部分更偏向于运维,跟开发关系就不大了。 |
5
wph95 256 天前
默认的 log 库大差不差,往本地磁盘上写。
然后 filebeat/fluented/vector 等 log collector 收集起来发送走。 如果是 k8s 还分 sidecar/deamonset 两种主流的 log collector pattern 。 datasource 老牌的就 elasticsearch 一把梭。新玩法是 loki ,clickhouse 。 对于你个人项目, 如果查询需求很低。 就简单一点 vector 收集日志,扔到 对象存储。需要查的时候 mount 一个 goofys grep 就好。 扔日志到对象存储时候设置一个基于时间的 prefix 就好。 |
6
zed1018 256 天前
我们现在的都是直接打控制台( spring-boot-starter-logging ),因为服务在 pod 里,k8s 里跑一套 loki + minio + grafana ,loki 从 pod 的控制台输出直接采集了
|
7
chendy 256 天前
既然是个人项目,直接打文件,按天滚动,grep awk 一把梭
最多上个 loki |
8
xuanbg 255 天前
ELK
|
9
luozic 255 天前
可以走 elk 那一套,这一套有单机版本 并且可以后期切换。
单机版本的比如 sonic 。 已经可以支持 tb 级别了,等到后面超过 10tb 了,这种明显可以迁移了 |
10
luozic 255 天前
|
11
chesha1 255 天前
如果你的微服务能在 k8s 上,不需要任何日志库,直接往 stdout 和 stderr 扔就行了,然后用第三方的日志解决方案,比如 elk stack 和 grafana loki ,除非你的数据量真的高到惊人了,不然不需要 kafka ,elk 或者 loki 已经够用了
|
12
7beloved 255 天前
最近用了 loki ,挺不错的
|
13
kuanat 255 天前
我提一个可能会被遗漏的细节,微服务环境里做日志,一定要有全链路的 trace 信息,不然出了问题也很难还原出错的场景。
前面有人讲了读写分离,写基本都是本地,然后通过后台 daemon 定期汇总到日志服务器上。 原始日志汇总存储之后,建议再定期根据 trace 重新组织一下(比如数据库视图,或者直接用文档类型存储)以方便查询。一般来说,日志信息往往会比生产数据的容量还大,如果用到了再去查可能会很慢。 |
14
keepRun 255 天前 via Android
小项目推荐 loki ,非常省资源
|
15
c9cc 251 天前
loki 够用
|