py 有什么好用的数据分析工具 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Guesser
V2EX    Python

py 有什么好用的数据分析工具

  •  1
     
  •   Guesser 2022-09-09 17:06:02 +08:00 3182 次点击
    这是一个创建于 1179 天前的主题,其中的信息可能已经有所发展或是发生改变。

    场景:

    我有一个服务器监控需求,服务器的监控图表包含:

    • cpu 使用率
    • 内存使用率

    能获取到这些监控图表里每天的时间点&对应的 cpu 使用率、时间点&对应的内存使用率

    问题:

    • 我如何方便的分析数据是否有波动?
    • 异常波动的使用率对应的时间段在什么时候?
    • 是否存在逐渐攀升或逐渐减少的情况?
    16 条回复    2022-09-12 22:27:49 +08:00
    TimePPT
        1
    TimePPT &nbs;
    PRO
       2022-09-09 17:17:54 +08:00
    看需求像做基于时序的异常检测。有很多对应的机器学习库。随便搜搜看
    jiezhi
        2
    jiezhi  
       2022-09-09 17:20:06 +08:00
    数据分析的话,不得不提 pandas
    Guesser
        3
    Guesser  
    OP
       2022-09-09 17:45:13 +08:00
    @TimePPT 感谢,转了一圈 github 搜 `基于时序的异常检测` 没啥发现
    yxhyw1799
        4
    yxhyw1799  
       2022-09-09 17:55:38 +08:00
    以前看文章有提到过异常检测工具 PyOD 和时序预测工具 Prophet ,都是基于机器学习算法实现的
    Guesser
        5
    Guesser  
    OP
       2022-09-09 18:07:20 +08:00
    @yxhyw1799 感谢,看了下,不太符合需求
    lunaticus7
        6
    lunaticus7  
       2022-09-09 18:09:57 +08:00
    试试 Prometheus?
    Guesser
        7
    Guesser  
    OP
       2022-09-09 18:13:24 +08:00
    @lunaticus7 太重了哈哈,只想搞个轻量级代码去分析
    TimePPT
        8
    TimePPT  
    PRO
       2022-09-09 18:34:29 +08:00
    chionetw5
        10
    chionetw5  
       2022-09-09 18:40:52 +08:00
    没懂,我说一个时序数据库有用吗
    pljhonglu
        11
    pljhonglu  
       2022-09-09 20:13:59 +08:00
    开箱即用的,adtk
    wa007
        12
    wa007  
       2022-09-09 21:21:06 +08:00
    时序图+同环比就能解决?
    duvet
        13
    duvet  
       2022-09-10 10:45:49 +08:00
    看起来需要的不是工具而是算法。
    necomancer
        14
    necomancer  
       2022-09-12 22:25:51 +08:00
    方法比较多,而且根据不同的数据,最好的具体方法也是不同的
    具体可以看一下 sklearn 的 novelty and outlier detection 。一维时序的话不妨试试 pulse detection 啥的,可能简单好用

    成品例如 PyCaret
    necomancer
        15
    necomancer  
       2022-09-12 22:26:30 +08:00
    修正一下 impulse detection
    necomancer
        16
    necomancer  
       2022-09-12 22:27:49 +08:00
    基于小波变换的方法可能很适用你的具体需求,基于小波变换有很多寻找 trend ,impulse 的方法
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5031 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 38ms UTC 09:36 PVG 17:36 LAX 01:36 JFK 04:36
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86