go-redis-parser(更高效的 Redis 解析工具,支持查找大 key) - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
The Go Programming Language
http://golang.org/
Go Playground
Go Projects
Revel Web Framework
such
V2EX    Go 编程语言

go-redis-parser(更高效的 Redis 解析工具,支持查找大 key)

  •  
  •   such
    8090lambert 2019-09-30 17:35:47 +08:00 4569 次点击
    这是一个创建于 2281 天前的主题,其中的信息可能已经有所发展或是发生改变。

    go-redis-parser

    go-redis-parser,项目地址: https://github.com/8090Lambert/go-redis-parser 一个简单、安全的 Redis 解析器。了解到目前存在的 parser,大部分都是单进程解析完成后,再统一输出,拉长了整体的执行时间,决定自己重写一个。它的特点是:离线即用,不必连接线上服务,并且利用 golang 语言本身的协程,实现边解析边写文件内容,非常高效

    简单介绍下这个工具:

    Feature

    支持 Redis 从 2.8 版本至 5.0 版本的,除了 module外的所有数据类型。包括:

    • String
    • Hash
    • List
    • Set
    • SortedSed
    • Stream(敲黑板,重点重点重点,重要的事情说三遍)

    Other

    导出 server 所有 key/values,而且会找出现有各类型的 bigkey(类似redis-cli的 --bigkeys 参数输出)

    Installation

    go-redis-parser 是可执行的二进制文件(binary file),可以使用 git 或者 go get 来下载安装

    via git

    $ git clone https://github.com/8090Lambert/go-redis-parser.git && cd go-redis-parser $ go install 

    via go

    $ go get github.com/8090Lambert/go-redis-parser 

    Using

    在使用之前,你需要先设置 export PATH=$PATH:$GOPATH/bin

    $ go-redis-parser -rdb <dump.rdb> -o <gen-file folder> -type <gen-file type, json or csv, default csv> 

    Generate file

    目前可导出两种类型的文件:json、csv。这里看下 csv 文件的示例

    BigKeys outputs

    BigKeys 的输出示例:

    # Scanning the rdb file to find biggest keys -------- summary ------- Sampled 6 keys in the keyspace! Total key length in bytes is 17 Biggest string found 's' has 1 bytes Biggest hash found 'h' has 1 fields Biggest list found 'li' has 2 items Biggest sortedset found 'zset' has 2 members Biggest set found 'set' has 2 members Biggest stream found 'stream' has 3 entries 1 string with 1 bytes 1 hash with 1 fields 1 list with 2 items 1 sortedset with 2 members 1 set with 2 members 1 stream with 3 entries 
    4 条回复    2019-10-01 00:35:38 +08:00
    vus520
        1
    vus520  
       2019-09-30 18:52:43 +08:00
    之前用了一个 python 的分析工具,安装花了半天。就凭这一点,要给 go 写的点个赞。
    such
        2
    such  
    OP
       2019-09-30 19:24:47 +08:00
    @vus520 感谢支持,这个安装就是可执行二进制文件,如果觉得好用,麻烦顺手给个 star~
    scriptB0y
        3
    scriptB0y  
       2019-09-30 19:45:02 +08:00
    好东西

    借楼也贴一下我最近在写的 reids 客户端: https://github.com/laixintao/iredis

    https://www.iredis.io/

    带语法高亮和自动补全。
    ericgui
        4
    ericgui  
       2019-10-01 00:35:38 +08:00
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5480 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 07:42 PVG 15:42 LAX 23:42 JFK 02:42
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86