网易云崩了? 502 Bad Gateway - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
工单节点使用指南
请用平和的语言准确描述你所遇到的问题
厂商的技术支持和你一样是有喜怒哀乐的普通人类,尊重是相互的
如果是关于 V2EX 本身的问题反馈,请使用 反馈 节点
tmtstudio
V2EX    全球工单系统

网易云崩了? 502 Bad Gateway

  •  1
     
  •   tmtstudio 2024-08-19 15:11:51 +08:00 16354 次点击
    这是一个创建于 419 天前的主题,其中的信息可能已经有所发展或是发生改变。

    听着听着突然无了,还咋写代码

    102 条回复    2024-08-20 11:53:26 +08:00
    1  2  
    vainl1
        1
    vainl1  
       2024-08-19 15:15:01 +08:00
    www 。netease 。com
    open 。163 。com
    house 。163 。com
    随便看了一下,这些也 502 了
    yinft
        2
    yinft  
       2024-08-19 15:19:36 +08:00
    不懂为啥音乐软件会奔溃 这也没啥大的瞬时流量吧
    root71370
        3
    root71370  
       2024-08-19 15:21:33 +08:00
    @yinft 机房挂了
    xyooyx
        4
    xyooyx  
       2024-08-19 15:22:41 +08:00
    技术都投到如何实现摇一摇广告跳转上了,HA 就交给上天吧
    nicksors
        5
    nicksors  
       2024-08-19 15:23:41 +08:00
    ruzztok
        6
    ruzztok  
      &bsp;2024-08-19 15:24:41 +08:00
    崩了,退出登录就登不上了
    yinft
        7
    yinft  
       2024-08-19 15:26:31 +08:00
    @root71370 感觉不是机房挂了就是机房出口光缆被挖断了,哈哈
    UXha45veSNpWCwZR
        8
    UXha45veSNpWCwZR  
       2024-08-19 15:29:09 +08:00
    哈哈哈,看样子都是边听音乐边摸鱼的人.
    MagmaBlock
        9
    MagmaBlock  
       2024-08-19 15:29:47 +08:00
    网页挂了,开了下 App 看还真寄了,图片和音乐都播不动了
    估计一会就上新闻了
    kumastudio
        10
    kumastudio  
       2024-08-19 15:32:07 +08:00
    我还以为我电脑坏了,然后试了试手机也不行
    idc123
        11
    idc123  
       2024-08-19 15:34:14 +08:00
    以为是我自己的问题。
    ruzztok
        12
    ruzztok  
       2024-08-19 15:36:22 +08:00
    会不会是摇一摇整挂的,趁乱去造个谣,把这玩意下掉
    flyqie
        13
    flyqie  
       2024-08-19 15:36:40 +08:00
    @yinft #7

    那这 HA 做了个寂寞啊。。

    网易这么大一公司,机房总不能全爆炸了吧?
    zhiyu1998
        14
    zhiyu1998  
       2024-08-19 15:44:16 +08:00
    @nicksors 已经炸了,哥们
    sagaxu
        15
    sagaxu  
       2024-08-19 15:44:34 +08:00
    网易数帆首批通过中国信通院应用多活“先进级”能力评估

    5 月 20 日,网易数帆轻舟云原生平台顺利通过中国信通院首批应用多活“先进级”能力评估。

    为提升云服务稳定运行水平,加强企事业单位系统稳定性保障工作,中国信通院于 2022 年 3 月初发起了“云系统稳定性保障计划”(以下简称“稳保计划”),吸引了金融、云服务商、互联网等行业的 20 余家头部企业和机构参与,并完成了多项云系统稳定性相关评估。“应用多活能力”评估便是云系统稳定性评估的重要组成部分。

    据了解,此次应用多活架构能力以通信行业标准《应用多活架构能力要求》为评估依据,基于当前分布式系统稳定性的发展现状与痛点,助力企业增强核心业务的连续性及抗风险能力,保证核心业务的稳定、持续运转。

    《应用多活架构能力要求》标准由中国信息通信研究院牵头,网易数帆参与编制,该标准也获得了业界极高关注度。
    crc8
        16
    crc8  
       2024-08-19 15:48:53 +08:00
    哪个施工单位出来背锅?
    batilo
        17
    batilo  
       2024-08-19 15:50:04 +08:00
    我还以为是我本地的 mosdns 出问题了... 正在找问题
    FanError
        18
    FanError  
       2024-08-19 15:53:27 +08:00
    163.com 主站都崩了,502
    itechnology
        19
    itechnology  
       2024-08-19 15:54:55 +08:00
    网易云官方回复说是基础设施故障。不知道是什么基础设施。网上有人说是数据库迁移导致的,不知道真假。
    mmdi
        20
    mmdi  
       2024-08-19 15:54:56 +08:00
    暂停不了,一直自动切歌蹦来蹦去。。只好退出
    tanky
        21
    tanky  
       2024-08-19 15:55:09 +08:00
    越修越严重了
    ExplodingDragon
        22
    ExplodingDragon  
       2024-08-19 15:58:51 +08:00   6
    前情提要: 云音乐贵州机房迁移总体方案回顾

    https://mp.weixin.qq.com/s/ra-TAgyVUxZgp8cxQjunnA
    tmtstudio
        23
    tmtstudio  
    OP
       2024-08-19 16:00:11 +08:00
    @FanError 自动重定向到 m.163.com 了,真搞笑,哈哈哈
    3wY4ZelqS1uYD4NJ
        24
    3wY4ZelqS1uYD4NJ  
       2024-08-19 16:02:23 +08:00
    又做了一次负面广告
    skyyan2000
        25
    skyyan2000  
       2024-08-19 16:02:53 +08:00
    现在网页 直接切到 m.163.com
    c3de3f21
        26
    c3de3f21  
       2024-08-19 16:04:07 +08:00
    服务器拿去开魔兽世界了。。。?
    killva4624
        27
    killva4624  
       2024-08-19 16:04:46 +08:00
    @tmtstudio 这个重定向倒有点像应急处理干的...
    ArthurLou
        28
    ArthurLou  
       2024-08-19 16:05:37 +08:00
    切歌的时候断了,严重影响我的生产效率了
    bingoup886
        29
    bingoup886  
       2024-08-19 16:08:41 +08:00
    @killva4624 这也算是止损手段啊,总比一直挂着好点
    liaohongxing
        30
    liaohongxing  
       2024-08-19 16:09:34 +08:00
    刚连魔兽主站都打不开了
    killva4624
        31
    killva4624  
       2024-08-19 16:13:11 +08:00
    @bingoup886 是啊,放能看的东西总比白晃晃的 502 好。感觉又是什么核心的组件挂了。
    kenilalexandra
        32
    kenilalexandra  
       2024-08-19 16:16:24 +08:00   1
    其他 1.1w+的第三方应用也都挂了。。。
    https://mp.weixin.qq.com/s/sR5S2Hvc78sJgbCaFB4MQw
    kenilalexandra
        33
    kenilalexandra  
       2024-08-19 16:16:50 +08:00
    @yinft 会不会可能是删库了
    G64q9J89mN5KSgmE
        34
    G64q9J89mN5KSgmE  
       2024-08-19 16:21:25 +08:00   1
    高可用,异地多活
    原来,大家都是草台班子
    wednesdayco
        35
    wednesdayco  
       2024-08-19 16:25:53 +08:00
    @skyyan2000 杭州的服务挂到北京的服务上也是没谁了
    ExplodingDragon
        36
    ExplodingDragon  
       2024-08-19 16:28:05 +08:00
    > 是啊,放能看的东西总比白晃晃的 502 好。感觉又是什么核心的组件挂了。
    @killva4624 估计这个是 ingress-nginx 的默认模板,又是 k8s 问题 (
    CCHome
        37
    CCHome  
       2024-08-19 16:29:57 +08:00 via Android
    P0 事故坐等背锅侠
    Modred
        38
    Modred  
       2024-08-19 16:30:05 +08:00
    在用且发现有问题的

    * 网易公开课: 挂
    * 网易新闻: 强制跳转手机版
    * 网易云音乐: 挂
    * 网易广告服务: 挂
    Raven316
        39
    Raven316  
       2024-08-19 16:30:21 +08:00
    这么大事故,这么长时间恢复不了,是不是机房被爆破了[doge]
    v1
        40
    v1  
       2024-08-19 16:30:38 +08:00
    莫非是 徐波 施法了!

    也许优化到大动脉了,运维架构底层的历史包袱现在没人看得懂,一碰就 boom !
    ----
    @kenilalexandra 猪场肯定有冷备份,至少可以尽快恢复主站。
    prorigor
        41
    prorigor  
       2024-08-19 16:31:43 +08:00
    网易云也不过是草台班子
    Modred
        42
    Modred  
       2024-08-19 16:32:07 +08:00
    @Modred
    * 网易数读: 挂
    * 网易健康: 挂
    LCheng
        43
    LCheng  
       2024-08-19 16:33:19 +08:00
    还以为公司把网易云禁了,都开始问候公司了
    CMLab
        44
    CMLab  
       2024-08-19 16:33:22 +08:00   1
    全线崩溃,等会看网易新闻报网易事故
    sakuralFA
        45
    sakuralFA  
       2024-08-19 16:35:05 +08:00
    现在挂的感觉都是杭州的东西呀
    Shura
        46
    Shura  
       2024-08-19 16:35:13 +08:00
    什么灾备多活,就是个 PPT ,哈哈哈
    MelDu
        47
    MelDu  
       2024-08-19 16:35:17 +08:00
    连主站都受影响了,这肯定上新闻了吧。
    GuLuDaDuiZhang
        48
    GuLuDaDuiZhang  
       2024-08-19 16:36:07 +08:00
    现在为止还没恢复,,有够菜的会不会玩呀,不会又是降本增笑吧。断了这么久不得找网易退钱。
    mars2023
        49
    mars2023  
       2024-08-19 16:37:05 +08:00
    @prorigor #41 再强的班子,也不能保证百分百不出事故;那是上帝的权能
    Geek4Ever
        50
    Geek4Ever  
       2024-08-19 16:38:06 +08:00
    网易云音乐是不是要补偿一个月的会员啊,否则众怒难平啊
    AmaQuinton
        51
    AmaQuinton  
       2024-08-19 1641:58 +08:00
    Tyrant1984
        52
    Tyrant1984  
       2024-08-19 16:46:09 +08:00
    刚崩的时候还没在意,我还庆幸我还留着 Foobar2000 了,硬盘上翻了翻还有以前剩下的几个 G 的无损音乐~~
    Cruzz
        53
    Cruzz  
       2024-08-19 16:46:39 +08:00
    天天吹牛逼 HA ,不也得挂着 502 慢慢修么?一个小时解决不了。天天高可用的那拨人呢?
    Yorkzhu
        54
    Yorkzhu  
       2024-08-19 16:48:05 +08:00 via Android
    高可用
    loy6491
        55
    loy6491  
       2024-08-19 16:48:19 +08:00
    @Richared #53 可能觉得不需要那么高的可用就优化了
    Cruzz
        56
    Cruzz  
       2024-08-19 16:49:27 +08:00
    @loy6491 这么看也就 b 站没吹牛逼。
    shervy
        57
    shervy  
       2024-08-19 16:49:54 +08:00   1
    @Richared #53 如果连口号都不喊的话,那不是加快公司优化么
    coolcoffee
        58
    coolcoffee  
       2024-08-19 16:51:26 +08:00   2
    可能之前高可用做的太好了,以至于老板觉得那帮人就是浪费公司钱吃白饭的
    quqivo
        59
    quqivo  
       2024-08-19 16:53:49 +08:00
    爽了,继续灾难修复,继续吹牛逼,我看什么时候能访问
    qingshui33
        60
    qingshui33  
       2024-08-19 16:55:59 +08:00   3
    他们团队已经提前预料到了
    Yorkzhu
        61
    Yorkzhu  
       2024-08-19 17:00:10 +08:00 via Android
    mightybruce
        62
    mightybruce  
       2024-08-19 17:00:42 +08:00
    看他们微信公众号的方案,就像看八股文一样,实际不是这么回事,哈哈,露出了基础设施团队不行咯。
    https://mp.weixin.qq.com/s/ra-TAgyVUxZgp8cxQjunnA
    云音乐贵州机房迁移总体方案
    jenkin01
        63
    jenkin01  
       2024-08-19 17:00:44 +08:00
    恢复了
    Modred
        64
    Modred  
       2024-08-19 17:00:46 +08:00
    @Yorkzhu 这是老图了
    Yorkzhu
        65
    Yorkzhu  
       2024-08-19 17:01:20 +08:00 via Android
    @Yorkzhu 贴错了…
    dikey
        66
    dikey  
       2024-08-19 17:01:44 +08:00
    今天是什么重要的日子吗
    mark2025
        67
    mark2025  
       2024-08-19 17:04:09 +08:00
    据说 tidb 挂了
    D0n9
        68
    D0n9  
       2024-08-19 17:04:38 +08:00
    @mightybruce 这也八股文吗。。。
    maplelin
        69
    maplelin  
       2024-08-19 17:06:34 +08:00
    服务器被修空调的搬走了,手动狗头
    maskerTUI
        70
    maskerTUI  
       2024-08-19 17:06:41 +08:00
    突然觉得我上我也行
    Modred
        71
    Modred  
       2024-08-19 17:07:28 +08:00
    云音乐已经恢复了
    mightybruce
        72
    mightybruce  
       2024-08-19 17:08:55 +08:00
    @D0n9 业务数据迁移这些也是八股文,属于比较有难度的,整篇文章对存储层和中间件和网关提及很少,就是业务相关的数据迁移。
    zghbyslzf
        73
    zghbyslzf  
       2024-08-19 17:09:43 +08:00
    恢复个鸡儿,收藏还是报错
    MelDu
        74
    MelDu  
       2024-08-19 17:11:56 +08:00
    2024 年 8 月 19 日 16:11:07
    网易云音乐;
    歌曲播放:OK
    搜索:OK
    评论:OK
    MelDu
        75
    MelDu  
       2024-08-19 17:12:57 +08:00
    @MelDu 2024 年 8 月 19 日 17:11:07
    时间错了
    Grande
        76
    Grande  
       2024-08-19 17:13:09 +08:00   5
    hafuhafu
        77
    hafuhafu  
       2024-08-19 17:13:20 +08:00
    这下有人要跑路了
    RayJiang9
        78
    RayJiang9  
       2024-08-19 17:14:07 +08:00
    dule
        79
    dule  
       2024-08-19 17:19:41 +08:00
    据说是云存储的问题,剩一个人还是咋的,按前人文档整崩了,基本都裁完了,找不到人修,真的话那可就太惨了,剩一个人维护最后还要背锅
    dule
        80
    dule  
       2024-08-19 17:20:46 +08:00
    降本增笑,裁猿广进,开猿节流的标准案例来了
    paoqi2048
        81
    paoqi2048  
       2024-08-19 17:25:14 +08:00
    降本降效(
    securityCoding
        82
    securityCoding  
       2024-08-19 17:27:59 +08:00
    @flyqie 服务没做跨集群部署吧...
    Sahzzz
        83
    Sahzzz  
       2024-08-19 17:36:27 +08:00
    @qingshui33 老哥,这个哪里的文章?求个地址
    huangbh
        84
    huangbh  
       2024-08-19 17:36:34 +08:00
    开猿节流,降本增笑
    beiwei2008
        85
    beiwei2008  
       2024-08-19 17:46:15 +08:00
    @mars2023 说好高可用呢?还挂这么久
    codevoice
        86
    codevoice  
       2024-08-19 17:46:28 +08:00
    @Sahzzz 22 楼发了的。。。后面很多也发了
    zdw406
        87
    zdw406  
       2024-08-19 17:50:32 +08:00
    又超时了
    CSGO
        88
    CSGO  
       2024-08-19 17:52:53 +08:00 via Android
    一定是米哈游搞的
    LieEar
        89
    LieEar  
       2024-08-19 17:58:44 +08:00
    开猿节流,降本增笑
    meilicat
        90
    meilicat  
       2024-08-19 18:01:47 +08:00
    感觉是蔡徐坤控制了网易云
    colincat
        91
    colincat  
       2024-08-19 18:08:45 +08:00
    降本增笑 哈哈哈
    sampeng
        92
    sampeng  
       2024-08-19 18:33:11 +08:00
    据说:是只剩一个运维了。东西太复杂,操作只能靠前人的文档。然后做了一下运维操作就炸了
    AnonymousUser
        93
    AnonymousUser  
       2024-08-19 19:32:22 +08:00
    作为前 SRE ,感概 SRE 工作真难。。。
    TheWalkingDead
        94
    TheWalkingDead  
       2024-08-19 19:32:47 +08:00   10
    内部人士说一声:确实是上面有人说的云存储问题,确实是只剩一个人,确实基本都裁完了,确实是这个人靠着前人留下的文档改错了东西。另外,不止云音乐受到影响,网易新闻也崩了,因为用的一个云存储服务。
    andforce
        95
    andforce  
       2024-08-19 19:38:20 +08:00 via iPhone
    @NiceGeekJasonChu 给了 7 天
    huangzhiyia
        96
    huangzhiyia  
       2024-08-19 19:42:08 +08:00 via iPhone
    看完了搬家方案

    光看都看得我汗流浃背了都

    稍有不慎就是重大事故
    flyqie
        97
    flyqie  
       2024-08-19 19:52:02 +08:00
    @TheWalkingDead #94

    挺好奇云存储是怎么爆炸成这样的。。不知道会不会出对外发事故报告啥的。

    怪不得前文说是基础设施。。这确实基础设施啊。
    serialt
        98
    serialt  
       2024-08-19 20:40:42 +08:00
    @TheWalkingDead #94 所以是把裁掉的人叫回来才解决啊吗 [吃瓜]
    Vh5g6zZU
        99
    Vh5g6zZU  
       2024-08-19 21:28:38 +08:00 via Android
    @TheWalkingDead 只剩一个也太搞了
    TeslaLyon
        100
    TeslaLyon  
       2024-08-19 21:33:56 +08:00
    真巧,赶上了
    1  2  
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2737 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 50ms UTC 12:11 PVG 20:11 LAX 05:11 JFK 08:11
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86