V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Guesser
V2EX  ›  Python

py 有什么好用的数据分析工具

  •  1
     
  •   Guesser · 2022-09-09 17:06:02 +08:00 · 2543 次点击
    这是一个创建于 806 天前的主题,其中的信息可能已经有所发展或是发生改变。

    场景:

    我有一个服务器监控需求,服务器的监控图表包含:

    • cpu 使用率
    • 内存使用率

    能获取到这些监控图表里每天的时间点&对应的 cpu 使用率、时间点&对应的内存使用率

    问题:

    • 我如何方便的分析数据是否有波动?
    • 异常波动的使用率对应的时间段在什么时候?
    • 是否存在逐渐攀升或逐渐减少的情况?
    16 条回复    2022-09-12 22:27:49 +08:00
    TimePPT
        1
    TimePPT  
       2022-09-09 17:17:54 +08:00
    看需求像做基于时序的异常检测。有很多对应的机器学习库。随便搜搜看
    jiezhi
        2
    jiezhi  
       2022-09-09 17:20:06 +08:00
    数据分析的话,不得不提 pandas
    Guesser
        3
    Guesser  
    OP
       2022-09-09 17:45:13 +08:00
    @TimePPT 感谢,转了一圈 github 搜 `基于时序的异常检测` 没啥发现
    yxhyw1799
        4
    yxhyw1799  
       2022-09-09 17:55:38 +08:00
    以前看文章有提到过异常检测工具 PyOD 和时序预测工具 Prophet ,都是基于机器学习算法实现的
    Guesser
        5
    Guesser  
    OP
       2022-09-09 18:07:20 +08:00
    @yxhyw1799 感谢,看了下,不太符合需求
    lunaticus7
        6
    lunaticus7  
       2022-09-09 18:09:57 +08:00
    试试 Prometheus?
    Guesser
        7
    Guesser  
    OP
       2022-09-09 18:13:24 +08:00
    @lunaticus7 太重了哈哈,只想搞个轻量级代码去分析
    TimePPT
        8
    TimePPT  
       2022-09-09 18:34:29 +08:00
    chionetw5
        10
    chionetw5  
       2022-09-09 18:40:52 +08:00
    没懂,我说一个时序数据库有用吗
    pljhonglu
        11
    pljhonglu  
       2022-09-09 20:13:59 +08:00
    开箱即用的,adtk
    wa007
        12
    wa007  
       2022-09-09 21:21:06 +08:00
    时序图+同环比就能解决?
    duvet
        13
    duvet  
       2022-09-10 10:45:49 +08:00
    看起来需要的不是工具而是算法。
    necomancer
        14
    necomancer  
       2022-09-12 22:25:51 +08:00
    方法比较多,而且根据不同的数据,最好的具体方法也是不同的
    具体可以看一下 sklearn 的 novelty and outlier detection 。一维时序的话不妨试试 pulse detection 啥的,可能简单好用

    成品例如 PyCaret
    necomancer
        15
    necomancer  
       2022-09-12 22:26:30 +08:00
    修正一下 impulse detection
    necomancer
        16
    necomancer  
       2022-09-12 22:27:49 +08:00
    基于小波变换的方法可能很适用你的具体需求,基于小波变换有很多寻找 trend ,impulse 的方法
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2822 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 42ms · UTC 14:37 · PVG 22:37 · LAX 06:37 · JFK 09:37
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.