V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
fantastM
V2EX  ›  分享创造

做了一个 Nginx 访问日志的分析工具

  •  
  •   fantastM · 2021-11-10 17:39:28 +08:00 · 2237 次点击
    这是一个创建于 1110 天前的主题,其中的信息可能已经有所发展或是发生改变。

    可以简单地分析 Nginx 的 access.log ,不过需要用 log_format 加个 JSON 格式的日志文件,最终可以统计出一些有用的信息,比如 访问次数最多的接口(平均 /百分位)耗时最长的接口访问次数最多的国家和城市

    这个工具对我来说,最主要的用途就是替换类似这样繁琐的 shell 脚本:awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -n 20,顺带做一些 shell 难以实现的功能。对于不想安装 ELK 、访问量不大的个人站长来说,或许是个有用的选择。

    项目地址是这个:README_ZH.md

    另外,我在写这个工具的时候,还发现了另一更强大和通用的 web 日志分析工具 https://goaccess.io/ ,给各位安利一下。

    4 条回复    2021-11-11 20:05:24 +08:00
    whcoding
        1
    whcoding  
       2021-11-10 18:45:54 +08:00
    已 star 有时间试试~
    beshe
        2
    beshe  
       2021-11-11 08:38:32 +08:00
    看了之后,觉得还是 docker 版 ELK 好用。
    fantastM
        3
    fantastM  
    OP
       2021-11-11 10:54:39 +08:00 via iPhone
    @beshe 我也觉得 ELK 很好用,不过服务器只有 1 核 2G ,资源有限…
    jabari
        4
    jabari  
       2021-11-11 20:05:24 +08:00
    @fantastM #3 做日志收集
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5573 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 07:01 · PVG 15:01 · LAX 23:01 · JFK 02:01
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.