如果一个 hash 里有上 10 万的 field,性能会有影响吧? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ry_wang
V2EX    Redis

如果一个 hash 里有上 10 万的 field,性能会有影响吧?

  •  
  •   ry_wang
    saipanno 2015-01-13 00:52:17 +08:00 via iPad 6633 次点击
    这是一个创建于 3990 天前的主题,其中的信息可能已经有所发展或是发生改变。
    想用redis给监控做各个监控项last status的cache,几千台机器,就拿硬盘来说,平均一个机器10个硬盘,那就是几万个field,hadh扛得住么?
    11 条回复    2015-01-13 19:03:22 +08:00
    pragbyte
        1
    pragbyte  
       2015-01-13 01:16:41 +08:00
    多建立 hash,而不是一个 hash 里面很多 field
    surefire
        2
    surefire  
       2015-01-13 07:47:38 +08:00 via Android
    几万个就扛不住了吗,测试下就知道了 。扛不住就降低负载因子
    cattail
        3
    cattail  
       2015-01-13 07:58:32 +08:00 via iPhone
    hash大小不影响时间复杂度。hash function才是
    piglei
        4
    piglei  
       2015-01-13 09:13:50 +08:00
    Redis hash一个存几万个印象中是没有一点问题的。
    tabris17
        5
    tabris17  
       2015-01-13 09:29:38 +08:00
    同意一楼
    soli
        6
    soli  
       2015-01-13 10:19:11 +08:00
    @pragbyte 多hash 和 一 hash 多 field 似乎差不多的性能。hash 和 field 的实现方式是一样的。
    andyzhshg
        7
    andyzhshg  
       2015-01-13 10:56:01 +08:00
    10万小case吧...
    zhicheng
        8
    zhicheng  
       2015-01-13 13:08:29 +08:00
    redis 不知道,但下面是我司研发的 hash dbm,一千万笔记录的 bench ,16字节的 Key, 128字节的Value
    基于磁盘,如果对于 redis 那种内存的话,理论上性能应该比这个高10倍左右。

    # ./db-bench bench.db bench.db 10000000
    write: 41.815 MB/s
    write: 304488.156 Keys/s
    read: 145.260 MB/s
    read: 1057753.250 Keys/s
    ry_wang
        9
    ry_wang  
    OP
       2015-01-13 13:45:08 +08:00
    @zhicheng 刚刚测试了一下,12W的field,写入不到2秒,读取基本1秒,做web的后端缓存应该是足够了。
    ry_wang
        10
    ry_wang  
    OP
       2015-01-13 13:48:41 +08:00
    @pragbyte 本来的设计是监控项加SN作为hash key的,但是这样遍历查询就很麻烦,还要单独维护一个SN列表。感觉没有监控项为hash key,sn为filed简单。
    pragbyte
        11
    pragbyte  
       2015-01-13 19:03:22 +08:00
    @ry_wang 我觉得你的需求不如用 mongo
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2971 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 44ms UTC 13:26 PVG 21:26 LAX 05:26 JFK 08:26
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86