V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
cszchen
V2EX  ›  Kubernetes

不想用 ELK 或者 EFK,有没有简单的替代方案

  •  
  •   cszchen · 2020 年 7 月 29 日 · 12986 次点击
    这是一个创建于 1998 天前的主题,其中的信息可能已经有所发展或是发生改变。

    ELK 或者 EFK 太重了,我的需求太简单,就是收集日志,能查看日志,不需要分析
    所以有没有一个更简单纯粹的工具搞定呢

    第 1 条附言  ·  2020 年 7 月 30 日
    用了 Grafana + Loki
    目前感觉还行
    51 条回复    2025-04-25 17:02:04 +08:00
    leeleehero
        1
    leeleehero  
       2020 年 7 月 29 日   ❤️ 2
    flume+mongodb
    yc8332
        2
    yc8332  
       2020 年 7 月 29 日   ❤️ 1
    数据库啊
    cszchen
        3
    cszchen  
    OP
       2020 年 7 月 29 日
    @yc8332 那不得自己做个界面
    yc8332
        4
    yc8332  
       2020 年 7 月 29 日
    @cszchen 不介意直接拿个 mysql 客户端就能看了啊。都不用系统了
    SingeeKing
        5
    SingeeKing  
    PRO
       2020 年 7 月 29 日   ❤️ 2
    这几天感觉好多公众号在推 Loki

    https://mp.weixin.qq.com/s/Ku42A8Ra13CKdaEDpKw_OQ
    tsl0922
        6
    tsl0922  
       2020 年 7 月 29 日
    有。看看 Grafana Loki:

    https://grafana.com/oss/loki/
    gz911122
        7
    gz911122  
       2020 年 7 月 29 日
    腾讯云现在日志服务免费
    jswh
        8
    jswh  
       2020 年 7 月 29 日
    量不大用 sentry 当日志也行
    xcstream
        9
    xcstream  
       2020 年 7 月 29 日
    mysql + 写个简单的 api
    w0nglend
        10
    w0nglend  
       2020 年 7 月 29 日
    @gz911122 现在免费。。上车就收费
    CoderGeek
        11
    CoderGeek  
       2020 年 7 月 29 日
    文本数据库
    Fitz
        12
    Fitz  
       2020 年 7 月 29 日
    腾讯云 8 月份就收费了, 强烈推荐 loki, 功能够用, 也足够轻量, 颜值有 grafana 保障
    sadfQED2
        13
    sadfQED2  
       2020 年 7 月 29 日 via Android
    Phpmyadmin+mysql+golang 写的日志收集器

    https://www.xjiangwei.cn/2020/07/12/serverArchitecture/
    levylll
        14
    levylll  
       2020 年 7 月 29 日
    这还重?不需要分析你不用 kibana 不就行了。
    主要搞好 es,怎么扔进去可以按照你的习惯走。
    noparking188
        15
    noparking188  
       2020 年 7 月 29 日
    我看到有一些开源命令行工具是帮助直接检索日志文件的,或许可以把日志同步到一台机器上,然后再去查看
    zzl22100048
        16
    zzl22100048  
       2020 年 7 月 30 日 via iPhone
    @levylll es 还不重么...
    dcoder
        17
    dcoder  
       2020 年 7 月 30 日
    @levylll ES 太重了,好不好
    mogita
        18
    mogita  
       2020 年 7 月 30 日
    metrics metabase
    changwei
        19
    changwei  
       2020 年 7 月 30 日 via Android
    kafka+mongodb 常用的查询 key 加上索引(比如 uid 和插入时间),也能满足一般的日志收集需求了
    rockxsj
        20
    rockxsj  
       2020 年 7 月 30 日 via Android
    果断 loki,用了几周了,同事好评
    etmad
        21
    etmad  
       2020 年 7 月 30 日
    在用 graylog
    xuanbg
        22
    xuanbg  
       2020 年 7 月 30 日
    @dcoder
    @zzl22100048
    es 找台服务器 docker 装一下就能用了,哪里重了?
    ttyn
        23
    ttyn  
       2020 年 7 月 30 日
    Graylog +1
    虽然也是 ES 封装,相对 ELK 来说,还是简单些
    关键是 ES 的查询方便
    1daydayde
        24
    1daydayde  
       2020 年 7 月 30 日 via iPhone
    这跟我 k8s 有什么关系🤔?
    lff0305
        25
    lff0305  
       2020 年 7 月 30 日
    fluentbit, 够轻量了,找个简单点的后端,比如 mongodb 之类的,或者干脆 Linux 的 syslog/windows 的 event log
    qW7bo2FbzbC0
        26
    qW7bo2FbzbC0  
       2020 年 7 月 30 日
    loki?
    qW7bo2FbzbC0
        27
    qW7bo2FbzbC0  
       2020 年 7 月 30 日
    @ttyn graylog 和 es 是什么关系,是商业版吗
    sidegem
        28
    sidegem  
       2020 年 7 月 30 日
    tail -f **.log
    janxin
        29
    janxin  
       2020 年 7 月 30 日
    promtail+loki 就很轻量呀,如果需要查询面板就到 grafana 里就可以了
    ghostwwg
        30
    ghostwwg  
       2020 年 7 月 30 日
    你的需求就是直接存日志,ELK 一点都不重。而且功能配套齐全。不知道你怎么理解重的……
    Immortal
        31
    Immortal  
       2020 年 7 月 30 日
    @ghostwwg #30
    大概指系统资源占用
    artandlol
        32
    artandlol  
       2020 年 7 月 30 日 via Android
    fitbition
    cszchen
        33
    cszchen  
    OP
       2020 年 7 月 30 日
    @ghostwwg
    @xuanbg
    @levylll
    主要 efk 对机器的配置要求有点高,我们的 这个业务也许短期都用不上 2 核 4G [/dog]
    xuanbg
        34
    xuanbg  
       2020 年 7 月 30 日
    @cszchen 我司阿里云搞了 3 台共享型 2C8G 突发性能实例做 ES3 节点集群,每月不到 300 的说
    iyaozhen
        35
    iyaozhen  
       2020 年 7 月 30 日
    @xuanbg 需要内存 需要钱
    iyaozhen
        36
    iyaozhen  
       2020 年 7 月 30 日
    @xuanbg 很多公司核心业务机器都没有 2C8G
    ttyn
        37
    ttyn  
       2020 年 7 月 30 日
    @hjahgdthab750 ES 可以理解成数据库,Graylog 是应用工具,需要连接 ES 进行读写,Graylog 是开源免费的
    今天试了一下单节点 ES+Kibana,占用内存 1G 左右,应该还好,Graylog 资源占用应该也差不多( Graylog 还额外需要 Mongodb )
    实在想精简的话,在线服务器安装 ES 进行数据存储(很多日志组件可以直接写数据到 ES ),Kibana 安装在公司开发环境进行查询,ES 单节点占用内存可以控制在 0.5G 左右,日志不要保存太长时间,过期的自动删除,应该没啥问题
    Jackeriss
        38
    Jackeriss  
       2020 年 7 月 30 日
    sentry 不用自己搭,注册个账号就可以用了
    print1024
        39
    print1024  
       2020 年 7 月 30 日
    阿里云日志服务 每月免费额度 500M
    tctc4869
        40
    tctc4869  
       2020 年 7 月 30 日
    @cszchen 首先存储和显示_收集是三个不同东西。存日志的话,数据量不大的话,又想让多人远程访问查看数据,日志存储也可以不用 e 。sql 数据库就可以。如果要显示,你找个数据可视化工具,连接数据库编写 sql 查看内容就行

    关于 sql 数据库的数据可视化工具,你可以看看这个 https://www.v2ex.com/t/692222#reply29
    GM
        41
    GM  
       2020 年 7 月 30 日
    @etmad graylog 试用的时候,怎么都收不到信息,放弃了
    qW7bo2FbzbC0
        42
    qW7bo2FbzbC0  
       2020 年 7 月 30 日
    @ttyn graylog 是把 elk 包成一个方案,还是说用的另一套技术栈
    ichou
        43
    ichou  
       2020 年 7 月 30 日 via iPhone
    @jswh 土豪 您好
    davidqhr
        44
    davidqhr  
       2020 年 7 月 31 日
    prometheus loki grafana
    Maco
        45
    Maco  
       2020 年 7 月 31 日
    loki
    Maco
        46
    Maco  
       2020 年 7 月 31 日
    ErwinCheung
        47
    ErwinCheung  
       2020 年 8 月 24 日
    @iyaozhen 这个感觉有点夸张
    kiddingU
        48
    kiddingU  
       2020 年 10 月 9 日
    loki 咯,比 efk 好用一些
    mikulch
        49
    mikulch  
       2020 年 10 月 14 日 via iPhone
    @rockxsj 大佬,https://www.v2ex.com/t/714882#reply0 请问我这个 loki 的无法搜集日志的问题是什么原因呀。
    6m7
        50
    6m7  
       2025 年 4 月 25 日
    loki 的推文真的很多啊
    如果只是和 Grafana 进行集成,看看统计数据,然后配置下超期日志自动删除,那还是很丝滑的
    但是用 loki 和现有工具集成还是有难度的,虽然轻量但是和 ELK 易用性差一些

    就比如 query 和 query_range 不支持 offset ,以至于实现分页跳查,就得想想别的办法
    loki 的 api 接口,要和配置文件绑定

    就比如默认不能使用 delete 方法,需要在配置文件中开启,(这里我折腾失败了)
    原因是,loki 只能删除 obs 中的数据,不能删内存中的数据

    还有 loki 的本地部署非常不友好(我只试过 docker 、docker-compose 部署),官方的 yaml 文件连数据持久化都不写,restart 后数据全丢。官方文档中的配置文件大部分都是让你接入云端存储,以至于本地部署的数据持久化,还是我自己写的。不得不说 Loki 可能主要的精力在于支持云端服务接入。不适合我这种拿来做本地部署的。

    也不是道是不是我操作不对,先吐槽平复心情。:-)
    6m7
        51
    6m7  
       2025 年 4 月 25 日
    @6m7
    再补充一个
    loki 官方三件套 Grafana + promtail + loki
    promtail 已经被官方 deprecated
    但是 loki 的给的 docker-compose 中默认还是要启动 promtail
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   999 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 19:00 · PVG 03:00 · LAX 11:00 · JFK 14:00
    ♥ Do have faith in what you're doing.