ES 数据压缩问题 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MilkShake
V2EX    Elasticsearch

ES 数据压缩问题

  •  
  •   MilkShake 2022-04-15 16:46:58 +08:00 2627 次点击
    这是一个创建于 1349 天前的主题,其中的信息可能已经有所发展或是发生改变。
    背景:ES 集群已经是百台高配节点。 
    • 前提条件
    1.单条数据平均大小占用 15K 左右。 2.每次请求要返回 1 万条的数据量。 3.会有大量的并发会去这样请求。 
    • 问题
    目前导致是带宽资源占用比较高,另一个返回的效率比较慢,大家都是怎么优化的,包括数据压缩或者负载均衡策略。 

    有之前负责 ES 大数据运维的工作,有打算想换环境的想法,可以聊聊。

    7 条回复    2022-04-17 11:07:46 +08:00
    mengzhuo
        1
    mengzhuo  
       2022-04-15 22:37:59 +08:00   1
    最简单是逻辑层加 cache ,查询一致的时候直接回之前缓存的数据,特别是用户会查询的东西可以自己先预热 cache 。

    而且看你的需求,应该是某种 tsdb 的应用范围。预先计算,预先聚集到特定表,减少 aggregate 压力,或者干脆直接换 tsdb 。

    不是 tsdb 的话,每条数据 15K ,也需要尽快垂直拆字段,特别是没啥用的数据,就不要跟着查询压力大的接口放在一起。
    ES 的 shard 机制决定了你的数据肯定会跨节点查询,http gzip 都只是治标不治本的。
    noparking188
        2
    noparking188  
       2022-04-16 02:24:51 +08:00
    好问题,关注
    MilkShake
        3
    MilkShake  
    OP
       2022-04-16 10:36:10 +08:00
    @mengzhuo 感谢你的回复,我们库里大概有几十亿条数据,这几十亿条数据,根据用户的需求进行请求查询然后返回数据,未必有耦合的数据。
    mengzhuo
        4
    mengzhuo  
       2022-04-16 21:49:02 +08:00
    @aaa5838769 类似搜索引擎么?那 ES 可不是好选择,可能需要直接建立单独的分词索引服务来完成任务,不过具体我没实施过,你搜搜看搜索引擎实现吧。
    viggoc
        5
    viggoc  
       2022-04-16 23:25:23 +08:00 via Android
    查询条件是什么样的,有排序吗。拉数据一定要获取所以字段吗?不需要的话就只返回部分字段吧
    MilkShake
        6
    MilkShake  
    OP
       2022-04-17 10:59:03 +08:00
    @viggoc 可以根据时间范围或者关键词查询,无排序,返回的字段是根据请求参数来决定的,可以全部字段或者部分字段的。
    viggoc
        7
    viggoc  
       2022-04-17 11:07:46 +08:00
    时间范围查询可以考虑数据根据时间字段 index sorting 。返回的字段是从 source 取的话可以考虑用 docvalue_fields 取,从 source 取是要解析 json 的。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2975 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 12:16 PVG 20:16 LAX 04:16 JFK 07:16
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86