V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
bigpigeon
V2EX  ›  问与答

k8s 的日志收集有什么推荐的方案吗

  •  
  •   bigpigeon · 2020 年 3 月 9 日 · 2669 次点击
    这是一个创建于 2134 天前的主题,其中的信息可能已经有所发展或是发生改变。
    目前我们用的是 filebeat 直接到 elasticsearch 的方案

    但 filebeat 的多行匹配规则非常难用,而且 include_lines/exclude_lines 这些正则匹配很难 debug

    我想看看有什么其他的收集方案试试
    6 条回复    2020-11-06 15:34:28 +08:00
    Illusionary
        1
    Illusionary  
       2020 年 3 月 9 日
    我也是 efk 方案,多行匹配就是简单粗暴的时间戳开头就为新一行日志
    optional
        2
    optional  
       2020 年 3 月 9 日
    多行匹配一直是问题, 因为 buffer 的问题, 经常会被下一条日志截断
    zhoudaiyu
        3
    zhoudaiyu  
    PRO
       2020 年 3 月 9 日
    fluentd kafka es kibana 我们用的这种
    lqy2575395
        4
    lqy2575395  
       2020 年 3 月 10 日
    @Illusionary 我们也是这样,你们日志有做字段拆分吗
    Goodboy008
        5
    Goodboy008  
       2020 年 9 月 1 日
    @lqy2575395 如何做到不同应用拆分打 tag ?
    lqy2575395
        6
    lqy2575395  
       2020 年 11 月 6 日
    @aidengongzhongqi 有个 @tag 的配置加一下就可以了
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1180 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 17:24 · PVG 01:24 · LAX 09:24 · JFK 12:24
    ♥ Do have faith in what you're doing.