elasticsearch 可以处理多大量的服务 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wenbinwu
V2EX    Elasticsearch

elasticsearch 可以处理多大量的服务

  •  
  •   wenbinwu 2015-05-14 18:35:15 +08:00 7566 次点击
    这是一个创建于 3874 天前的主题,其中的信息可能已经有所发展或是发生改变。
    举个例子,每条数据是一条产品信息
    索引100个每秒
    查询10k每秒

    这种量级(应该不算大)的要求可以满足吗

    如果有配置和优化elasticsearch的文章推荐就更好了
    19 条回复    2016-11-02 14:50:01 +08:00
    cloudzhou
        1
    cloudzhou  
       2015-05-14 19:14:45 +08:00   1
    elasticsearch 背后就是 lucene,索引的话 100/s 可以做到的,查询看起来不小。
    里面的优化主要针对 lucene。
    yeasy
        2
    yeasy  
       2015-05-14 19:51:43 +08:00   1
    10k/s的查询得优化下
    多份,系统配置等……
    Phant0m
        3
    Phant0m  
       2015-05-14 20:05:47 +08:00 via Android   1
    你这都不叫事。。。我们线上每天好几十G的日志都没压力(五台集群服务器)
    yyw
        4
    yyw  
       2015-05-14 20:09:22 +08:00   1
    搜索本身其实是很容易平行扩展的东西。所以你说的能处理多大的量,主要是看机器有多少。
    wenbinwu
        5
    wenbinwu  
    OP
       2015-05-14 20:11:24 +08:00
    @yeasy 请问有没有优化方面的文章

    @Phant0m 请问你是怎么配置的?几个index,几个replicates?
    wenbinwu
        6
    wenbinwu  
    OP
       2015-05-14 20:13:24 +08:00
    @yyw 很多机器的时候,负载均衡是怎么做?我搜了一下,貌似elasticsearch不需要负载均衡,因为其自带了。不过client如何配置es的ip呢?如果所有client指向同一个es,也是有问题的啊
    BlueWolf
        7
    BlueWolf  
       2015-05-14 20:15:20 +08:00
    @wenbinwu 应该是指向集群的master
    BlueWolf
        8
    BlueWolf  
       2015-05-14 20:17:26 +08:00
    @wenbinwu 貌似我没确定你说的client是输送数据的client还是向es请求搜索内容的client
    wenbinwu
        9
    wenbinwu  
    OP
       2015-05-14 20:32:50 +08:00
    @BlueWolf 我是想说请求搜索的client,不过挺你一说,我也想知道两种client各应该如何配置
    hebwjb
        10
    hebwjb  
       2015-05-14 22:28:21 +08:00
    我们现在用8台设备组的es集群,每天导入上亿条数据完全不叫事
    wenbinwu
        11
    wenbinwu  
    OP
       2015-05-14 22:55:36 +08:00
    @hebwjb 你是怎么配置集群的啊?几个master,数据是在8个上都有存?
    BlueWolf
        13
    BlueWolf  
       2015-05-15 10:37:46 +08:00
    @wenbinwu 其实我也想知道,目前测试的都是单台es,还没上集群……

    @hebwjb
    @Phant0m
    求教两位,输送数据到es的client和向es请求搜索内容的client应如何配置目标es,是master的ip吗?
    fxxkgw
        14
    fxxkgw  
       2015-05-15 11:04:20 +08:00
    @BlueWolf 一般都是elk一起用的吧 logstash收集日志发到es中,然后kibana连接es展示。网上这种配置说明很多的。
    wenbinwu
        15
    wenbinwu  
    OP
       2015-05-15 16:34:45 +08:00
    @fxxkgw 你说的是把es当作收集日志用的,如果我就是要做搜索服务呢
    hebwjb
        16
    hebwjb  
       2015-05-16 00:15:20 +08:00
    @BlueWolf
    @wenbinwu
    配制成master的ip就可以了
    zxc337
        17
    zxc337  
       2016-08-23 17:43:31 +08:00
    @BlueWolf es 对外是去中心化的, 集群有自身的 master 选举机制, 在主节点丢失那段时间, 集群是不能正常工作的, 不过这一短暂时间的选中几乎是瞬时完成的
    zxc337
        18
    zxc337  
       2016-08-23 17:48:33 +08:00
    @wenbinwu 要做全文检索也很简单, es 默认支持很多分词方式, 也可以自定义分词插件集成在 es 里面;
    es 对外 api 有很多这方面的查询支持, 比如 DSL,相关性(relevance)查询,matchPhraseQuery 等接口
    asuraa
        19
    asuraa  
       2016-11-02 14:50:01 +08:00
    我们现在一台服务器 每天平均 50G 的日志 没问题
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5490 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 38ms UTC 06:06 PVG 14:06 LAX 22:06 JFK 01:06
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86