线上 RPC 调用超时问题请教 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
dwlovelife
V2EX    程序员

线上 RPC 调用超时问题请教

  •  
  •   dwlovelife 2022-07-21 16:09:40 +08:00 2445 次点击
    这是一个创建于 1178 天前的主题,其中的信息可能已经有所发展或是发生改变。
    背景:电商场景某些线上接口,在调用中台服务时会报超时,这种情况导致可用率在百分之 99.xx%
    分析原因:查看上下游 RPC 接口调用时长,基本在 50-100ms ,最大也就在 100ms 。但是 rpc 报的 ClientTimeoutException 长达 3000ms ,没有启动多线程调用,排除线程池耗尽线程等待的情况。
    然后实在分析不出来原因了,有人遇到过么,在此请教
    11 条回复    2022-07-23 08:17:39 +08:00
    jj783850915
        1
    jj783850915  
       2022-07-21 16:26:56 +08:00
    带宽?
    coderxy
        2
    coderxy  
       2022-07-21 17:14:04 +08:00
    我遇到过类似的。 当时的原因是 cpu load 很高造成的。 还有一种,是 grpc 的一个参数限制了最大并发数,造成 client 在等待中消耗了过多的时间。
    diyazhu
        3
    diyazhu  
       2022-07-21 17:47:48 +08:00
    偶尔的网络抖动?
    hhyvs111
        4
    hhyvs111  
       2022-07-21 18:14:30 +08:00
    就是 cpu 受限了
    ccagml
        5
    ccagml  
       2022-07-21 22:24:45 +08:00 via Android
    没有可用端口?
    cs419
        6
    cs419  
       2022-07-22 06:34:26 +08:00
    查超时时间 没日志么?
    dwlovelife
        7
    dwlovelife  
    OP
       2022-07-22 08:56:17 +08:00
    @cs419 有日志 日志报的 A->B [调用] 接口超时-超时时间 3000ms ,但是 B 接口查看所有被调用时间没有超过 3000ms 的
    chenshun00
        8
    chenshun00  
       2022-07-22 09:32:39 +08:00
    A 有没有 GC 啥的
    dwlovelife
        9
    dwlovelife  
    OP
       2022-07-22 10:00:13 +08:00
    @chenshun00 GC 才多久
    zuiye111
        10
    zuiye111  
       2022-07-22 10:07:04 +08:00
    是偶现还是常态?
    偶现的话,看是否网络抖动导致 B 的回包超时; A 节点负载是否过高;
    常态的话,分析 A 模块逻辑,除了简单 rpc 调用,是否还做了其他耗时逻辑,导致你统计本身就不对?框架本身是否有自动换机重试机制?例如 A 调用 B1 ,超时 1s ,换机调用 B2 ,又超时 1s
    再者,是否有链路追踪,traceid 之类,分析超时前后上下文日志
    cs419
        11
    cs419  
       2022-07-23 08:17:39 +08:00
    A 调 B 超时 3000ms
    B 这边无异常

    这就分两种情况
    1. A 的请求送出去了,但 B 一直没收到
    2. B 的回信送出去了 但 A 一直没收到
    日志如果有全局的 traceid 那就可以排查出是哪种情况
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2503 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 23ms UTC 01:54 PVG 09:54 LAX 18:54 JFK 21:54
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86