raid 扩容请教 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
weiyan
V2EX    服务器

raid 扩容请教

  •  
  •   weiyan 2024-02-27 09:23:30 +08:00 1783 次点击
    这是一个创建于 593 天前的主题,其中的信息可能已经有所发展或是发生改变。

    虚心请教各位大佬,目前有一台服务器做了 raid5 ,总共 100+TB ,单盘 14TBx12 ,还有两个槽位空着

    现在存储空间不够,有 10TB 左右的缺口,想将剩下的两个硬盘槽利用起来,有两种可选方案 1.对 raid 扩容,可以增加 28TB 的容量,但是担心大容量 raid 扩容是否可靠,因为存储的数据都是实验室的实验结果,一定不能出问题(出了问题我就人头落地了!! 2.两个槽位单独做 raid1 , 可以买 16TB 或更大的硬盘,缺点是会浪费一半的硬盘空间。 想听一下大家的建议~

    以及有个问题不知是否有人大佬了解,服务器用的阵列卡为 MegaRAID 9364-8i ,我看它的参数应该只支持 8 个通道输入,为什么现在可以给 12 个硬盘做阵列呢?谢谢大佬们!!

    43 条回复    2024-02-27 23:15:40 +08:00
    my3157
        1
    my3157  
       2024-02-27 09:32:54 +08:00 via Android   1
    raid 能不动就不动,建议新建
    xkxwd
        2
    xkxwd  
       2024-02-27 09:35:24 +08:00
    1.扩容时不管可不可靠,都要做备份;
    2.可能连接了附加的扩展板或其他控制器来支持更多硬盘;
    3.建议新建;
    gvdlmjwje
        3
    gvdlmjwje  
       2024-02-27 09:36:07 +08:00
    1.超过 32TB 还敢用 raid5 , 胆子挺大的嘛。换我就直接买两个 32TB 的盘做 raid1 了。不过单 raid 卡做两个以上 group 是不推荐的,特别还是不同的 raid level 。
    2.https://docs.broadcom.com/doc/pub-005183
    1.6.2
    sparkssssssss
        4
    sparkssssssss  
       2024-02-27 09:41:50 +08:00
    因为存储的数据都是实验室的实验结果,一定不能出问题
    既然如此,没有备份,是早晚的事情啊
    life90
        5
    life90  
       2024-02-27 09:57:19 +08:00 via Android
    不管你如何操作,建议还是要做冷备份。raid 不是备份,只是提高可靠性的手段。
    kenneth104
        6
    kenneth104  
       2024-02-27 10:05:09 +08:00
    Q1 ,对 raid 扩容,可以增加 28TB 的容量,但是担心大容量 raid 扩容是否可靠
    A2 ,担忧正确,RAID5 随着扩大,很可能出问题,但可以数据恢复

    Q2 ,服务器用的阵列卡为 MegaRAID 9364-8i ,我看它的参数应该只支持 8 个通道输入,为什么现在可以给 12 个硬盘做阵列呢?
    A2 ,8 个通道是正确的,但硬盘背板还可以进一步分割共享这 8 个通道


    总结方案 1 ,如你所说,加一组 RAID1
    总结方案 2 ,RAID5 添加 2 块转 RAID6 ,容量可以多 14TB
    总结方案 3 ,RAID5 添加 1 块转 RAID6 ,另一块单独用于热数据

    本人运维人员,上面说的都操作过,严重不建议 RAID5 过大并用于稍微重要的数据
    aheadlead
        7
    aheadlead  
       2024-02-27 10:06:57 +08:00
    [因为存储的数据都是实验室的实验结果,一定不能出问题(出了问题我就人头落地了!!]

    把方案换了吧,raid 5 这不是等着人头落地?
    weiyan
        8
    weiyan  
    OP
       2024-02-27 10:10:18 +08:00
    @my3157 好的,感谢!
    weiyan
        9
    weiyan  
    OP
       2024-02-27 10:10:57 +08:00
    @xkxwd 嗯嗯!准备考虑冷备的事情了
    weiyan
        10
    weiyan  
    OP
       2024-02-27 10:11:31 +08:00
    @gvdlmjwje 服务器是我入学前运维设置的,我第一次看到也惊了( 100+TB 的 raid5
    weiyan
        11
    weiyan  
    OP
       2024-02-27 10:11:41 +08:00
    @coolloves 好的!
    weiyan
        12
    weiyan  
    OP
       2024-02-27 10:12:01 +08:00
    @life90 好!考虑一下冷备份的事情!感谢
    weiyan
        13
    weiyan  
    OP
       2024-02-27 10:12:46 +08:00
    @kenneth104 感谢回复!!和老师沟通一下,准备加一组 raid1~
    weiyan
        14
    weiyan  
    OP
       2024-02-27 10:13:05 +08:00
    @aheadlead (希望等我毕业后再出问题( bushi
    fangpeishi
        15
    fangpeishi  
       2024-02-27 10:32:13 +08:00
    无论如何,做这次变更之前,先备份一份到其他介质。
    Eleutherios
        16
    Eleutherios  
       2024-02-27 10:34:39 +08:00
    真猛啊 这么大这么多的盘敢组 RAID5 ,换我至少得拆成 2 个 8 盘 RAID 6 ,或者 1 个 15 盘 RAID Z3+1 热备
    weiyan
        17
    weiyan  
    OP
       2024-02-27 10:35:49 +08:00 via iPhone
    @Eleutherios 没办法,之前的运维搞得方案,现在想换也没啥机会了
    weiyan
        18
    weiyan  
    OP
       2024-02-27 10:36:13 +08:00 via iPhone
    @fangpeishi 好的,感谢!
    Eleutherios
        19
    Eleutherios  
       2024-02-27 10:42:01 +08:00
    @weiyan 赶紧把数据导出来,然后重建 RAID 啊。这就是活跃期的冰岛活火山,不知道什么时候炸,但是就这两年了。
    Eleutherios
        20
    Eleutherios  
       2024-02-27 10:46:41 +08:00
    话说 RAID5 炸盘后恢复失败数据全丢不是很常见的事么?没想到 4202 还有人在 production env 里用。

    MegaRAID 9364-8i 没用过,但是 8i 指 8 SAS/SATA 盘,剩下 6 个怕不是走的主板的 SATA 口吧?空 2 个槽位是因为主板没更多 SATA 口了吧?你们该不会用的是家用主板+CPU+没 ECC 的内存吧?大学里的科研小团队自己搞的么?
    my3157
        21
    my3157  
       2024-02-27 10:52:11 +08:00
    话说想起好几年前一个 120T 的 RAID 50, 磁盘已经用了快四年了, 坏了一块盘, rebuild 的时候睡觉都睡不踏实
    wanguorui123
        22
    wanguorui123  
       2024-02-27 10:53:09 +08:00
    企业数据还是用 RAID1/10 靠谱
    kenneth104
        23
    kenneth104  
       2024-02-27 10:53:43 +08:00
    先检查现在状态有没有降级,如果没监控手段,那先在服务器的相应 raid 套件里面,可以设置故障后发邮件通知的,你先设置好发到你和老师的常用邮箱。。

    PS,看了眼现在正规渠道的企业硬盘,对比 21 年头,居然还涨价
    kenneth104
        24
    kenneth104  
       2024-02-27 10:54:22 +08:00
    @my3157 我的 raid5 用来冷备的,睡得可舒服
    Eleutherios
        25
    Eleutherios  
       2024-02-27 10:56:07 +08:00
    OP 打个商量呗,这 RAID 的后续进展都在 V2 发发吧,感觉有乐子看了(奸笑)
    weiyan
        26
    weiyan  
    OP
       2024-02-27 10:58:32 +08:00
    @Eleutherios 笑死哈哈哈哈,不过有什么消息我会发的!我也想看看这个服务器可以撑多久
    gvdlmjwje
        27
    gvdlmjwje  
       2024-02-27 10:59:56 +08:00
    @Eleutherios #25 应该没乐子看了 lz 貌似直接 raid1 了
    weiyan
        28
    weiyan  
    OP
       2024-02-27 11:00:20 +08:00
    @Eleutherios 好!!!已经在和老师商量备份的事情了
    weiyan
        29
    weiyan  
    OP
       2024-02-27 11:01:03 +08:00
    @Eleutherios 这倒不是,用的是正经服务器,超微的主板哈哈哈哈
    weiyan
        30
    weiyan  
    OP
       2024-02-27 11:01:33 +08:00
    @my3157 之前有经历过几次意外断电,每次上电自检的时候我也这样,睡不踏实
    weiyan
        31
    weiyan  
    OP
       2024-02-27 11:02:18 +08:00
    @kenneth104 嗯嗯,倒是没有降级(上天保佑
    Eleutherios
        32
    Eleutherios  
       2024-02-27 11:31:32 +08:00
    @gvdlmjwje 我觉得单单是把数据导出+重建 RAID 就会有有趣的事情发生,再加上后续的旧盘复用、新盘购置、可能的配置升级(比如加个 SSD-CACHE 、万兆网口)以及配件采购,感觉会是一部帕鲁血泪史(狗头)
    Eleutherios
        33
    Eleutherios  
       2024-02-27 11:32:16 +08:00
    @weiyan 那还行,这种不关机的 NAS ,ECC 还是挺重要的……是什么系统? TRUENAS 或黑群晖么
    weiyan
        34
    weiyan  
    OP
       2024-02-27 11:38:21 +08:00
    @Eleutherios 是 ubuntu+nfs 的方案
    YostGray
        35
    YostGray  
       2024-02-27 11:56:43 +08:00
    一般冷备份除了磁带这种难用的,还有啥便宜大碗的嘛
    oColtono
        36
    oColtono  
       2024-02-27 12:54:47 +08:00
    冷备份其实磁带并不难用,LTO6 磁带 2.3T 一张,就是拷贝起来麻烦,你 100T 的数据,估计得要拷 50 张磁带,LTO6 磁带机算 1600 ,50 张磁带算 50*40=2000 ,一共 3600 就能备份完这一批了,就是耗时久一点。估计得拷一个月才能拷完
    oColtono
        37
    oColtono  
       2024-02-27 12:59:38 +08:00
    至于 raid ,我手上刚好有一个 8 盘位的群晖软 raid ,组的是 raid6 ,原来是插满了八块 8T ,运行了 5 年,最近刚把这堆盘挨个换成 18T 的,就是直接一块一块换,换一次重建一次 raid ,相当于重建了 8 次。每次都重建成功。

    可能是我运气好,单纯觉得 raid 是有风险,但是也没大家说的那么不可靠。备份好数据以后,就安安心心折腾呗
    kenneth104
        38
    kenneth104  
       2024-02-27 15:21:07 +08:00
    被 OP 提醒,我又检查了一下 44 个全新企业盘的集群,都健康,并且确定 5 年保修
    mxT52CRuqR6o5
        39
    mxT52CRuqR6o5  
       2024-02-27 15:27:45 +08:00
    感觉 raid 相比 zfs 已经没多少优势了
    需要极致专业用 zfs ,需要极致灵活用 unraid ,raid 真有点不上不下
    busier
        40
    busier  
       2024-02-27 15:53:09 +08:00 via iPhone
    胆真大 12 块盘敢用 RAID5 !
    ttyhtg
        41
    ttyhtg  
       2024-02-27 23:06:55 +08:00 via Android
    既然是实验结果数据,赶紧抓紧时间另外至少再备份一份,不要迷信 raid5
    ttyhtg
        42
    ttyhtg  
       2024-02-27 23:07:37 +08:00 via Android
    不要乱动
    ttyhtg
        43
    ttyhtg  
       2024-02-27 23:15:40 +08:00 via Android
    @oColtono 我之前这样设想过,但是还没实验,感谢大佬经验之谈,以后我也这样操做一下,坏了也没事,因为我有异地备份
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2220 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 16:07 PVG 00:07 LAX 09:07 JFK 12:07
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86