最近我安装了 Loki + Promtail + Grafana,感觉这一组合可以取代 Elasticsearch + Logstash - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
raynix
V2EX    Grafana

最近我安装了 Loki + Promtail + Grafana,感觉这一组合可以取代 Elasticsearch + Logstash

  •  
  •   raynix 2021-11-12 05:32:17 +08:00 4014 次点击
    这是一个创建于 1430 天前的主题,其中的信息可能已经有所发展或是发生改变。
    而且对资源需求很低

    Helm 链接: https://github.com/grafana/helm-charts/tree/main/charts/loki-stack
    我的 ArgoCD 配置笔记: https://raynix.info/archives/4103
    16 条回复    2021-11-14 06:25:49 +08:00
    tcpdump
        1
    tcpdump  
       2021-11-12 08:56:51 +08:00 via Android
    Loki 绝对坑,玩具级
    cheng6563
        2
    cheng6563  
       2021-11-12 09:11:50 +08:00
    用 Loki 还不如吧日志存 SQL 数据库
    GM
        3
    GM  
       2021-11-12 09:36:27 +08:00
    @tcpdump 怎么个坑法?官方开发商他们自己也在用的
    StarUDream
        4
    StarUDream  
       2021-11-12 09:45:26 +08:00
    Loki 的搜索和 es 比起来真的不够看,之前也在用 Loki ,后面还是转向 ELK 了。
    tcpdump
        5
    tcpdump  
       2021-11-12 09:49:53 +08:00
    @GM 自己数据量小玩玩可以,没有全文索引,快的前提是建立好 label 。旧数据无法重建 label 。没有冗余机制,全靠存储介质做冗余。不能 scroll 拉取数据,如果要拉大量数据就是渣渣。可以理解为给你 10TB 的硬盘,开几十个 grep 进程去检索数据的玩具。
    defunct9
        6
    defunct9  
       2021-11-12 10:11:45 +08:00
    @tcpdump 非反驳贴。loki 可以用 GFS 的 PV 做存储,GFS 做条带化。我们应用场景非常怪异,无论 ELK 或者 Loki 都做不到准实时,研发要求基本等同 tail -f , 搞得我们头大。
    Rwing
        7
    Rwing  
       2021-11-12 10:18:38 +08:00
    loki 确实感觉有点玩具,或者也可能是我不会用
    Rwing
        8
    Rwing  
       2021-11-12 10:19:00 +08:00
    但是 ELK 也确实太耗资源
    raynix
        9
    raynix  
    OP
       2021-11-12 10:40:28 +08:00
    @defunct9 这么高要求,难道是股票交易?
    defunct9
        10
    defunct9  
       2021-11-12 10:49:34 +08:00
    @raynix 也不是,就是研发的事多。用了 ELK 和 LOKI 都不行,还有一家厂商是用 Clickhouse 的,也不行,最后还真的是 tail -f 了
    raynix
        11
    raynix  
    OP
       2021-11-12 10:50:02 +08:00
    我上手 loki 的主要原因
    - 轻量级,开销小
    - LogQL 非常类似 PromQL
    raynix
        12
    raynix  
    OP
       2021-11-12 10:51:06 +08:00
    @defunct9 tail -f 怎么搜索和制图呢
    defunct9
        13
    defunct9  
       2021-11-12 11:05:02 +08:00
    @raynix 哈,搜索就是 grep ,不需要制图。仔细解释一下,研发上线的时候必须实时仔细观察日志输出,来判断程序是否正常。经常有上去不对,然后再下来重新打包发版的时候。而四大行审计要求研发只能有 view ,而不能有执行权限。这就麻烦了,系统中是有 ELK 的,准实时,研发都不认可;所以试用了 loki 、clickhouse 一溜够,都不满足。最后得亏程序没有部署在用户的 /home 目录下,就建立同组的用户,只有 view 权限,而上线管理员有执行权限,这样解决的。国内的事情都很复杂,各种堡垒机,数审设备。
    raynix
        14
    raynix  
    OP
       2021-11-12 15:09:33 +08:00
    @defunct9 我这只是个人实验,loki 比 tail 也最多慢 2 秒而已。你那差很多么?
    defunct9
        15
    defunct9  
       2021-11-13 19:26:00 +08:00
    @raynix 研发的要求是实时,有家是用 clickhouse 的,3 秒。loki 基本是 2 秒
    raynix
        16
    raynix  
    OP
       2021-11-14 06:25:49 +08:00
    @defunct9 硬需求,赞
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2398 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 01:18 PVG 09:18 LAX 18:18 JFK 21:18
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86