V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
NGINX
NGINX Trac
3rd Party Modules
Security Advisories
CHANGES
OpenResty
ngx_lua
Tengine
在线学习资源
NGINX 开发从入门到精通
NGINX Modules
ngx_echo
deqiying
V2EX  ›  NGINX

问问大家 nginx 日志流量分析用什么方案?

  •  
  •   deqiying · 2025 年 8 月 4 日 · 3975 次点击
    这是一个创建于 165 天前的主题,其中的信息可能已经有所发展或是发生改变。
    大家都用什么方案收集 nginx 日志和分项目数据统计?
    现在项目的部署有点乱,头大,小白来求救了
    1.每台服务器都部署有不同的项目,日志都是打到 access.log (没有按项目划分)
    2.一个项目可能在不同服务器都有节点,也就是是一个项目的访问日志可能在两个 access.log 中
    3.同一个项目可以通过域名或者 path 区分

    这种奇怪的部署方式有方案能收集日志并按项目进行统计划分吗?小项目,方案轻量点好,AI 让引入 ELK 栈部署,比项目本身都复杂了。
    小白一个,恳请各位大佬指点。
    22 条回复    2025-08-05 13:56:06 +08:00
    killva4624
        1
    killva4624  
       2025 年 8 月 4 日
    如果不改配置,日志上传完之后需要在分析层根据请求路径去区分,也就是提前洗一遍。
    改配置之后,不同路径(项目)的请求打到不同目录或者文件名里,上传之后就天然区分了。
    deqiying
        2
    deqiying  
    OP
       2025 年 8 月 4 日
    @killva4624 #1 感谢大佬指点,后续项目会修改日志的打印到不同的目录或文件,但是现有的日志还需要分析。
    如果是日志打印到不同的目录或文件,用什么轻量的方案进行数据统计分析呢?最好有 web 页面的
    killva4624
        3
    killva4624  
       2025 年 8 月 4 日
    @deqiying 轻量级可以试试 Loki + Grafana
    fantastM
        4
    fantastM  
       2025 年 8 月 4 日   ❤️ 1
    deqiying
        5
    deqiying  
    OP
       2025 年 8 月 4 日
    @killva4624 #3 好的,感谢感谢
    Dlad
        6
    Dlad  
       2025 年 8 月 4 日
    2010 年用过 awstats!
    2018 用过 ELK Stack…
    2025 年用过 goaccess !!

    最后这个偶尔想看下时特别方便,一行命令搞定。
    用新语言写旧工具的兄弟们永远健康!
    realpg
        7
    realpg  
    PRO
       2025 年 8 月 4 日
    自己写处理脚本进行统计入库
    kekylin
        8
    kekylin  
       2025 年 8 月 4 日
    可以试试这个项目,看看能否满足需求。
    NixVis 是一款基于 Go 语言开发的、开源轻量级 Nginx 日志分析工具,专为自部署场景设计。它提供直观的数据可视化和全面的统计分析功能,帮助您实时监控网站流量、访问来源和地理分布等关键指标,无需复杂配置即可快速部署使用。
    https://github.com/BeyondXinXin/nixvis
    deqiying
        9
    deqiying  
    OP
       2025 年 8 月 5 日
    @Dlad #6 主要是希望能够将多台服务器的日志聚合到一个面板( web 页面)看
    deqiying
        10
    deqiying  
    OP
       2025 年 8 月 5 日
    @kekylin #8 感谢推荐,我了解一下
    Dlad
        11
    Dlad  
       2025 年 8 月 5 日
    @deqiying
    那好像可以看看 ELK stack ,功能对口,社区也大。
    ( elastic search 用了多年:朝令夕改的配置,脱裤子放屁的安全救火设计,总觉一股异味。)
    pangzipp
        12
    pangzipp  
       2025 年 8 月 5 日
    如果在云上。 推荐云上的日志 例如阿里云的 ilogtail -> sls 然后分析就好了
    albin504
        13
    albin504  
       2025 年 8 月 5 日
    https://github.com/nginx/nginx-prometheus-exporter
    prometheus exporter 分析日志,然后把指标发送到 prometheus ,我在生产环境打过这套服务(不是这个开源项目,思路一样),效果杠杠的
    DefoliationM
        14
    DefoliationM  
       2025 年 8 月 5 日 via Android
    grafana+Loki 感觉够轻量了。
    samIIsun
        15
    samIIsun  
       2025 年 8 月 5 日
    nginx(json format log)-->filebeat-->es-->kibana
    spritecn
        16
    spritecn  
       2025 年 8 月 5 日
    openobserve ,存储是 apache arrow,带 ui,速度不错,不怎么吃内存,成本相对比较小
    deqiying
        17
    deqiying  
    OP
       2025 年 8 月 5 日
    @Dlad #11 似乎有点笨重了
    deqiying
        18
    deqiying  
    OP
       2025 年 8 月 5 日
    @spritecn #16 可以可以
    accelerator1
        19
    accelerator1  
       2025 年 8 月 5 日
    rsyslog + loki + grafana
    yunnysunny
        20
    yunnysunny  
       2025 年 8 月 5 日
    我们之前是通过脚本写入 kafka 中,然后再通过 logstash 转发到 elasticsearch ,用 kiabna 进行查看。
    yunnysunny
        21
    yunnysunny  
       2025 年 8 月 5 日
    为了方便采集,把 ngnix 的日志输出格式改成了 json
    feixiangcode
        22
    feixiangcode  
       2025 年 8 月 5 日
    阿里云的日志服务就可以。
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2573 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 10:40 · PVG 18:40 · LAX 02:40 · JFK 05:40
    ♥ Do have faith in what you're doing.