惨不忍睹,半夜起来(4 点)排查 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
MeteorCat
V2EX    程序员

惨不忍睹,半夜起来(4 点)排查

  •  
  •   MeteorCat 2019-08-14 04:32:30 +08:00 via Android 7971 次点击
    这是一个创建于 2250 天前的主题,其中的信息可能已经有所发展或是发生改变。

    睡梦中被电话吵醒,还以为天亮.

    一看手机服务器炸了,要排查代码看看哪里出问题,排查大半天发现代码没问题,百思不得其解;后续发现 curl 的请求全 host 没办法链接,怀疑是不是服务器 dns,一排查麻痹系统内置百度公共 dns 挂了,mmp

    第 1 条附言    2019-08-14 09:56:22 +08:00
    具体这个 dns 服务器“ 180.7676.76 ”是安装时候附带的,基本上很少留意他,早上四点开始出现大范围的请求全挂了还以为是什么回事,排查大半天代码没问题,试着 ping 下请求的域名发现全挂了只有 ip 能请求到才发现问题
    37 条回复    2019-08-15 08:42:49 +08:00
    365hddvd
        1
    365hddvd  
       2019-08-14 04:49:16 +08:00 via iPhone
    心疼老铁( )也是刚刚醒
    chtan
        2
    chtan  
       2019-08-14 04:52:13 +08:00 via iPhone
    签到
    hrong
        3
    hrong  
       2019-08-14 06:53:54 +08:00 via Android
    かわいそう
    nellace
        4
    nellace  
       2019-08-14 07:44:37 +08:00 via iPhone
    心疼老铁
    hawhaw
        5
    hawhaw  
       2019-08-14 07:50:49 +08:00 via Android
    所以,内网服务器用 dns resolver 的高可用非常重要
    zachlhb
        6
    zachlhb  
       2019-08-14 07:54:35 +08:00 via Android
    敢用百度的东西,厉害
    barrelsoil
        7
    barrelsoil  
       2019-08-14 07:55:50 +08:00 via Android
    自建吧
    liuxey
        8
    liuxey  
       2019-08-14 08:02:41 +08:00
    真是糟糕的一天
    robot9
        9
    robot9  
       2019-08-14 08:19:06 +08:00
    前段时间也是半夜被叫起来 码农太悲惨了
    ww2000e
        10
    ww2000e  
       2019-08-14 08:24:13 +08:00
    看样子没运维,没监控
    ebingtel
        11
    ebingtel  
       2019-08-14 08:25:32 +08:00
    @365hddvd 醒了就刷 v2 666
    whywhywhy
        12
    whywhywhy  
       2019-08-14 08:44:12 +08:00
    自从我发现公共 DNS 也能挂之后,就开始至少用 2 家的 DNS 了。原来这些大公司也舍不得做冗余啊
    zjsxwc
        13
    zjsxwc  
       2019-08-14 08:49:06 +08:00
    所以哪家的 dns 最稳推荐?
    defunct9
        14
    defunct9  
       2019-08-14 08:53:45 +08:00
    必须自己做两个 dnsmasq,上游多找几家,就不会挂了。
    wuzhizhan
        15
    wuzhizhan  
       2019-08-14 09:12:55 +08:00
    记得刚毕业工作的时候,一周半夜起来一次
    arrow8899
        16
    arrow8899  
       2019-08-14 09:27:14 +08:00
    自己搭一个 dnsmasq 备用吧
    liuxu
        17
    liuxu  
       2019-08-14 09:41:11 +08:00
    上次我们服务器也炸过,导致 php 无法 curl 请求
    zhjie
        18
    zhjie  
       2019-08-14 09:51:32 +08:00   1
    处理完问题后
    继续睡觉×
    上 v2 发帖√
    ShangAliyun
        19
    ShangAliyun  
       2019-08-14 09:53:47 +08:00
    创建监控啊,阿里云云监控可以免费创建 10 个,域名解析,dns,ping 都创建上,足够了
    MeteorCat
        20
    MeteorCat  
    OP
       2019-08-14 09:57:50 +08:00 via Android
    @ShangAliyun 我没账号呀,我最多都是上去看看 ssh 看下 log 日志
    MeteorCat
        21
    MeteorCat  
    OP
       2019-08-14 09:58:30 +08:00 via Android
    @liuxu 是的,全部第三方请求全炸了,一看是系统带百度 dns 开放 IP 挂了
    loryyang
        22
    loryyang  
       2019-08-14 10:08:30 +08:00
    有时间,数据链路不稳定,经常半夜一两点被其他团队 call 起来。后来通过老大层面协商搞定了
    leloext
        23
    leloext  
       2019-08-14 10:25:20 +08:00
    上次 114 炸了之后就不敢只用一个上游 dns 了。
    mytsing520
        24
    mytsing520  
    PRO
       2019-08-14 11:13:26 +08:00
    我 114、阿里、腾讯、Google 都写全的~
    百度不在考虑范围内
    tikazyq
        25
    tikazyq  
       2019-08-14 11:30:43 +08:00
    自己搭建 DNS ?
    oIMOo
        26
    oIMOo  
       2019-08-14 11:31:38 +08:00
    可以设置备用的么?
    一旦首选 DNS 挂掉,自动切换备用的。
    oasislee
        27
    oasislee  
       2019-08-14 11:35:49 +08:00
    半夜解决问题后
    回去睡觉 ×
    发 V2 √
    hiahiahia
    lazyfighter
        28
    lazyfighter  
       2019-08-14 11:47:17 +08:00
    某个地区运营商故障见过吗,哈哈
    HansCathy
        29
    HansCathy  
       2019-08-14 13:54:03 +08:00
    在互联网公司 4 点起来很正常。
    wolflai
        30
    wolflai  
       2019-08-14 15:06:08 +08:00
    唉,互联网公司经常熬夜两三点,非常正常了
    azh7138m
        31
    azh7138m  
       2019-08-14 15:13:07 +08:00
    @lazyfighter 比如上海市政施工导致腾讯游戏挂了吗(
    laozhoubuluo
        32
    laozhoubuluo  
       2019-08-14 15:33:29 +08:00
    半夜四点真的心疼......

    维护个位数物理机建议混配两家以上公共 DNS (配置四五个 DNS 都可以),超出此数目建议自建 DNS 服务。
    vibbow
        33
    vibbow  
       2019-08-14 15:38:12 +08:00
    之前 114 挂过,我就同时用 114 和 1248 了
    lazyfighter
        34
    lazyfighter  
       2019-08-14 17:27:32 +08:00
    @azh7138m 不是 比如上海移动运营商挂了,上海移动用户上不了网,哈哈
    Caballarii
        35
    Caballarii  
       2019-08-14 17:29:57 +08:00
    为啥都想去写前端,就因为不会有人半夜 call 你找麻烦,因为找你也没用 23333
    starsriver
        36
    starsriver  
       2019-08-14 23:09:12 +08:00 via Android
    贵司都不在防火墙或者路由上多填几个 dns?
    ragnaroks
        37
    ragnaroks  
       2019-08-15 08:42:49 +08:00
    没有洁癖,建议使用 1.2.4.8

    我们机房用的机器全是 223.5.5.5(阿里的),莫名其妙的时不时超时(别的地方都能通,就机房 ping 不同这个 DNS),导致经常出现 API 调用失败,最后查了几天才发现 DNS 有问题
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1150 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 17:47 PVG 01:47 LAX 10:47 JFK 13:47
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86