不想用 ELK 或者 EFK,有没有简单的替代方案 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
cszchen
V2EX    Kubernetes

不想用 ELK 或者 EFK,有没有简单的替代方案

  •  
  •   cszchen 2020-07-29 17:19:26 +08:00 12585 次点击
    这是一个创建于 1900 天前的主题,其中的信息可能已经有所发展或是发生改变。

    ELK 或者 EFK 太重了,我的需求太简单,就是集日志,能查看日志,不需要分析
    所以有没有一个更简单纯粹的工具搞定呢

    第 1 条附言    2020-07-30 19:32:37 +08:00
    用了 Grafana + Loki
    目前感觉还行
    51 条回复    2025-04-25 17:02:04 +08:00
    leeleehero
        1
    leeleehero  
       2020-07-29 17:24:55 +08:00   2
    flume+mongodb
    yc8332
        2
    yc8332  
       2020-07-29 17:26:45 +08:00   1
    数据库啊
    cszchen
        3
    cszchen  
    OP
       2020-07-29 17:29:29 +08:00
    @yc8332 那不得自己做个界面
    yc8332
        4
    yc8332  
       2020-07-29 17:33:19 +08:00
    @cszchen 不介意直接拿个 mysql 客户端就能看了啊。都不用系统了
    SingeeKing
        5
    SingeeKing  
    PRO
       2020-07-29 17:41:41 +08:00   2
    这几天感觉好多公众号在推 Loki

    https://mp.weixin.qq.com/s/Ku42A8Ra13CKdaEDpKw_OQ
    tsl0922
        6
    tsl0922  
       2020-07-29 17:42:07 +08:00
    有。看看 Grafana Loki:

    https://grafana.com/oss/loki/
    gz911122
        7
    gz911122  
       2020-07-29 17:54:57 +08:00
    腾讯云现在日志服务免费
    jswh
        8
    jswh  
       2020-07-29 17:58:26 +08:00
    量不大用 sentry 当日志也行
    xcstream
        9
    xcstream  
       2020-07-29 17:59:46 +08:00
    mysql + 写个简单的 api
    w0nglend
        10
    w0nglend  
       2020-07-29 18:09:09 +08:00
    @gz911122 现在免费。。上车就收费
    CoderGeek
        11
    CoderGeek  
       2020-07-29 18:17:36 +08:00
    文本数据库
    Fitz
        12
    Fitz  
       2020-07-29 18:25:38 +08:00
    腾讯云 8 月份就收费了, 强烈推荐 loki, 功能够用, 也足够轻量, 颜值有 grafana 保障
    sadfQED2
        13
    sadfQED2  
       2020-07-29 18:46:19 +08:00 via Android
    Phpmyadmin+mysql+golang 写的日志收集器

    https://www.xjiangwei.cn/2020/07/12/serverArchitecture/
    levylll
        14
    levylll  
       2020-07-29 19:29:34 +08:00
    这还重?不需要分析你不用 kibana 不就行了。
    主要搞好 es,怎么扔进去可以按照你的习惯走。
    noparking188
        15
    noparking188  
       2020-07-29 23:15:14 +08:00
    我看到有一些开源命令行工具是帮助直接检索日志文件的,或许可以把日志同步到一台机器上,然后再去查看
    zzl22100048
        16
    zzl22100048  
       2020-07-30 01:08:53 +08:00 via iPhone
    @levylll es 还不重么...
    dcoder
        17
    dcoder  
       2020-07-30 01:18:16 +08:00
    @levylll ES 太重了,好不好
    mogita
        18
    mogita  
       2020-07-30 02:03:01 +08:00
    metrics metabase
    changwei
        19
    changwei  
       2020-07-30 03:48:19 +08:00 via Android
    kafka+mongodb 常用的查询 key 加上索引(比如 uid 和插入时间),也能满足一般的日志收集需求了
    rockxsj
        20
    rockxsj  
       2020-07-30 07:51:47 +08:00 via Android
    果断 loki,用了几周了,同事好评
    etmad
        21
    etmad  
       2020-07-30 08:16:37 +08:00
    在用 graylog
    xuanbg
        22
    xuanbg  
       2020-07-30 08:41:28 +08:00
    @dcoder
    @zzl22100048
    es 找台服务器 docker 装一下就能用了,哪里重了?
    ttyn
        23
    ttyn  
       2020-07-30 08:41:31 +08:00
    Graylog +1
    虽然也是 ES 封装,相对 ELK 来说,还是简单些
    关键是 ES 的查询方便
    1daydayde
        24
    1daydayde  
       2020-07-30 08:55:17 +08:00 via iPhone
    这跟我 k8s 有什么关系?
    lff0305
        25
    lff0305  
       2020-07-30 09:49:22 +08:00
    fluentbit, 够轻量了,找个简单点的后端,比如 mongodb 之类的,或者干脆 Linux 的 syslog/windows 的 event log
    qW7bo2FbzbC0
        26
    qW7bo2FbzbC0  
       2020-07-30 09:52:53 +08:00
    loki?
    qW7bo2FbzbC0
        27
    qW7bo2FbzbC0  
       2020-07-30 09:53:12 +08:00
    @ttyn graylog 和 es 是什么关系,是商业版吗
    sidegem
        28
    sidegem  
       2020-07-30 09:56:09 +08:00
    tail -f **.log
    janxin
        29
    janxin  
       2020-07-30 10:02:56 +08:00
    promtail+loki 就很轻量呀,如果需要查询面板就到 grafana 里就可以了
    ghostwwg
        30
    ghostwwg  
       2020-07-30 10:09:08 +08:00
    你的需求就是直接存日志,ELK 一点都不重。而且功能配套齐全。不知道你怎么理解重的……
    Immortal
        31
    Immortal  
       2020-07-30 10:29:06 +08:00
    @ghostwwg #30
    大概指系统资源占用
    artandlol
        32
    artandlol  
       2020-07-30 11:29:26 +08:00 via Android
    fitbition
    cszchen
        33
    cszchen  
    OP
       2020-07-30 14:22:16 +08:00
    @ghostwwg
    @xuanbg
    @levylll
    主要 efk 对机器的配置要求有点高,我们的 这个业务也许短期都用不上 2 核 4G [/dog]
    xuanbg
        34
    xuanbg  
       2020-07-30 14:35:32 +08:00
    @cszchen 我司阿里云搞了 3 台共享型 2C8G 突发性能实例做 ES3 节点集群,每月不到 300 的说
    iyaozhen
        35
    iyaozhen  
       2020-07-30 14:35:43 +08:00
    @xuanbg 需要内存 需要钱
    iyaozhen
        36
    iyaozhen  
       2020-07-30 14:36:48 +08:00
    @xuanbg 很多公司核心业务机器都没有 2C8G
    ttyn
        37
    ttyn  
       2020-07-30 15:44:09 +08:00
    @hjahgdthab750 ES 可以理解成数据库,Graylog 是应用工具,需要连接 ES 进行读写,Graylog 是开源免费的
    今天试了一下单节点 ES+Kibana,占用内存 1G 左右,应该还好,Graylog 资源占用应该也差不多( Graylog 还额外需要 Mongodb )
    实在想精简的话,在线服务器安装 ES 进行数据存储(很多日志组件可以直接写数据到 ES ),Kibana 安装在公司开发环境进行查询,ES 单节点占用内存可以控制在 0.5G 左右,日志不要保存太长时间,过期的自动删除,应该没啥问题
    Jackeriss
        38
    Jackeriss  
       2020-07-30 16:13:29 +08:00
    sentry 不用自己搭,注册个账号就可以用了
    print1024
        39
    print1024  
       2020-07-30 17:05:34 +08:00
    阿里云日志服务 每月免费额度 500M
    tctc4869
        40
    tctc4869  
       2020-07-30 17:45:52 +08:00
    @cszchen 首先存储和显示_收集是三个不同东西。存日志的话,数据量不大的话,又想让多人远程访问查看数据,日志存储也可以不用 e 。sql 数据库就可以。如果要显示,你找个数据可视化工具,连接数据库编写 sql 查看内容就行

    关于 sql 数据库的数据可视化工具,你可以看看这个 t/692222#reply29
    GM
        41
    GM  
       2020-07-30 17:49:04 +08:00
    @etmad graylog 试用的时候,怎么都收不到信息,放弃了
    qW7bo2FbzbC0
        42
    qW7bo2FbzbC0  
       2020-07-30 19:15:28 +08:00
    @ttyn graylog 是把 elk 包成一个方案,还是说用的另一套技术栈
    ichou
        43
    ichou  
       2020-07-30 20:37:40 +08:00 via iPhone
    @jswh 土豪 您好
    davidqhr
        44
    davidqhr  
       2020-07-31 09:27:11 +08:00
    prometheus loki grafana
    Maco
        45
    Maco  
       2020-07-31 11:18:23 +08:00
    loki
    Maco
        46
    Maco  
       2020-07-31 11:18:36 +08:00
    ErwinCheung
        47
    ErwinCheung  
       2020-08-24 15:49:08 +08:00
    @iyaozhen 这个感觉有点夸张
    kiddingU
        48
    kiddingU  
       2020-10-09 15:40:56 +08:00
    loki 咯,比 efk 好用一些
    mikulch
        49
    mikulch  
       2020-10-14 16:24:41 +08:00 via iPhone
    @rockxsj 大佬,t/714882#reply0 请问我这个 loki 的无法搜集日志的问题是什么原因呀。
    6m7
        50
    6m7  
       169 天前
    loki 的推文真的很多啊
    如果只是和 Grafana 进行集成,看看统计数据,然后配置下超期日志自动删除,那还是很丝滑的
    但是用 loki 和现有工具集成还是有难度的,虽然轻量但是和 ELK 易用性差一些

    就比如 query 和 query_range 不支持 offset ,以至于实现分页跳查,就得想想别的办法
    loki 的 api 接口,要和配置文件绑定

    就比如默认不能使用 delete 方法,需要在配置文件中开启,(这里我折腾失败了)
    原因是,loki 只能删除 obs 中的数据,不能删内存中的数据

    还有 loki 的本地部署非常不友好(我只试过 docker 、docker-compose 部署),官方的 yaml 文件连数据持久化都不写,restart 后数据全丢。官方文档中的配置文件大部分都是让你接入云端存储,以至于本地部署的数据持久化,还是我自己写的。不得不说 Loki 可能主要的精力在于支持云端服务接入。不适合我这种拿来做本地部署的。

    也不是道是不是我操作不对,先吐槽平复心情。:-)
    6m7
        51
    6m7  
       169 天前
    @6m7
    再补充一个
    loki 官方三件套 Grafana + promtail + loki
    promtail 已经被官方 deprecated
    但是 loki 的给的 docker-compose 中默认还是要启动 promtail
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1429 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 30ms UTC 16:46 PVG 00:46 LAX 09:46 JFK 12:46
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86