60TB 容量的云端存储机,如何有效控制成本?做 Raid5 可靠吗? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
flypei
V2EX    硬件

60TB 容量的云端存储机,如何有效控制成本?做 Raid5 可靠吗?

  •  
  •   flypei
    PRO
    2020-09-28 09:53:08 +08:00 3778 次点击
    这是一个创建于 1886 天前的主题,其中的信息可能已经有所发展或是发生改变。
    大约需要容量 60TB,总读写速度不低于 4000MB/S,日常使用 写>读

    准备购入一台 R740XD,可以上 24 块 2.5 寸的硬盘,带 H730P 阵列卡

    如果用 3.84TB INTEL 企业级 SSD * 24块,做 Raid10 阵列,速度勉强达标,但实际可使用容量只有 46TB 左右

    如果做 Raid5 可以节省很多硬盘,企业级硬盘不容易坏,组 Raid5 或 Raid50 可靠吗?

    还有一种就是用 MLC 耐用 SSD 做缓存盘+SAS 盘?

    没搞过这种大型存储机器,有点方 又怕买错,也不知道读写能力可否达到要求

    请问各位硬件大佬有什么好的方案吗?
    27 条回复    2020-10-01 12:48:36 +08:00
    zanzhz1101
        1
    zanzhz1101  
       2020-09-28 09:58:18 +08:00 via Android
    RAID 5 + Spare ?
    JeromeCui
        2
    JeromeCui  
       2020-09-28 10:00:58 +08:00
    为啥不用 minio 这种?
    flypei
        3
    flypei  
    OP
    PRO
       2020-09-28 10:03:00 +08:00
    @JeromeCui 除了存储以外,还需要跑应用的。
    CallMeReznov
        4
    CallMeReznov  
       2020-09-28 10:03:04 +08:00
    Raid5 的问题在于,你想它不会坏的情况下,它是一定会炸给你好看的.
    就算是可重建的情况,重建速度慢到爆炸.

    另外还有一个平均故障率的问题,如果你是一批硬盘,一旦一块硬盘在这个故障区间瞬间,很可能就在短时间内就会坏第二块,第三块.


    现在对象存储的解决方案有很多高可用的软件解决方案.
    CEPH 可以用 SSD 加速或者直接 SSD 落盘.
    ungrown
        5
    ungrown  
       2020-09-28 10:03:04 +08:00
    任何 raid 都比不上 zfs
    wanguorui123
        6
    wanguorui123  
       2020-09-28 10:04:19 +08:00
    推荐:
    RAID 1 、6 、10 、100
    FreeNAS
    flypei
        7
    flypei  
    OP
    PRO
       2020-09-28 10:06:17 +08:00
    @CallMeReznov 本来就追求高可用,重建需要付出的时间成本太高了。

    不知道阿里云 OSS 这类产品使用的是什么方案?还有 ECS 云硬盘之类的
    Reficul
        8
    Reficul  
       2020-09-28 10:25:15 +08:00
    ZFS 的内存 60Tb 的话,我记得推荐要上 60G 的内存。默认 FreeNAS 配置无论你插了多少内存,ZFS 默认占一半。
    eastern
        9
    eastern  
       2020-09-28 10:26:54 +08:00
    24 块盘重建好像要不少时间,我记得有个网站可以计算 raid5 的重建时间的,可以找来参照一下
    reus
        10
    reus  
       2020-09-28 10:55:26 +08:00 via Android
    @ungrown zfs 也是靠 raid 的
    FS1P7dJz
        11
    FS1P7dJz  
       2020-09-28 10:59:06 +08:00
    ZFS 有巡检
    可以防止硬盘硬件错误导致 RAID 失效
    不过软件方案一般都要求上 ECC 内存
    geniussoft
        12
    geniussoft  
       2020-09-28 11:10:41 +08:00
    1. 你的阵列卡恐怕会是瓶颈吧。

    2. 上强大的处理器,软 Raid 吧。

    3. 说重建慢的基本都是新手。全固态,处理器够强,重建几小时的事。

    4. 反正和磁盘成本比起来,主机成本反而不算什么。考虑一下群晖 FS6400 ?( W/R:7000/4700 )至少省心。

    5. 考虑一下 Raid6-0 ?(你将会获得 20 / 24 = 83.3%的容量,和较好的安全性)
    建立在总写入量不会超过硬盘设计的情况下,否则,你将需要定期更换硬盘。

    6. 如果采用机械硬盘,为了稳定地达到你的目标速度,你可能需要 35 块以上的 3.5 寸硬盘 ......

    7. 我见过很多鄙视商用解决方案(如群晖),自己搞的。
    然而,他们共同的特点是,经常理论上很美好,实际上却各种出问题,最后测速还远不如人家。
    除非,你确认自己有非常丰富的经验。

    8. 相信你也知道的,UPS 是必须要搞的。
    ziseyinzi
        13
    ziseyinzi  
       2020-09-28 12:00:28 +08:00 via Android
    如果很重要,还是建议找商用解决方案,如果你要自己搞,TrusNAS ( Raid-Z )
    sampeng
        14
    sampeng  
       2020-09-28 12:38:38 +08:00 via iPhone   1
    shadowyw
        15
    shadowyw  
       2020-09-28 16:48:14 +08:00
    RAID5 最好别用 RAID6+spare 起步, zfs 或者 ceph 更好
    594duck
        16
    594duck  
       2020-09-29 10:11:03 +08:00 via iPhone
    @geniussoft 软 raid,以他的读写速度和磁盘容量的软 raid ?

    你要不问问搞 ceph 的人推荐不推荐吧。

    我是不推荐软 raid
    594duck
        17
    594duck  
       2020-09-29 10:12:34 +08:00 via iPhone
    你这要求还是买专业存储吧。

    买不起 netapp emc 可以买华为存储。

    别乱折腾死都不知道怎么死(半年内跑路的可以)
    geniussoft
        18
    geniussoft  
       2020-09-29 11:20:14 +08:00
    @594duck 事实上,性能要求最高的 Raid,几乎都是软 Raid 吧。

    不要认为 Raid 卡有什么特别的,无非是给 CPU 降低点压力而已。
    这种存储节点很可能任务只有阵列 SMB iSCSI,也不需要节省 CPU 。
    xlibve
        19
    xlibve  
       2020-09-29 14:04:31 +08:00
    一般这么大容量都是直接用 HBA (直通)卡吧,做 z2 感觉比较好,普通阵列卡带不起这么多固态如果没记错 H730P 应该支持非阵列直通,但是毕竟不是纯直通卡不知道会不会带宽不够被限速。如果一定要做阵列,这么大高写入 io 建议是 Riad50 或者 raid 50 加热备。60 写入还是有点慢。单纯 5 太不安全了。其实全闪同步挺快了。我们之前上了 2 批大概各有 10 多台 HPE 的 380Gen10 配合 p840ar 阵列卡 用 intel S4510 1.92T*24 和 sansung 883 1.92t *24 一半做 ceph 一半做 50 ,到现在用了 1 年多点 883 坏了有 3 块还是 4 块 ,4510 坏了 1 块。发现都是做阵列 50 上挂的。但是同步还是挺快的,大概中午休息换盘,下班前就同步完了。
    ungrown
        20
    ungrown  
       2020-09-29 15:45:59 +08:00
    @reus #10 raid 能和 zraid 相提并论吗?
    就因为有四个相同的字母?
    reus
        21
    reus  
       2020-09-29 16:17:04 +08:00 via Android
    @ungrown raidz1 和 raid5 一样重建缓慢而且重建出错就完蛋,raidz 本质就是非标准 raid,原理是一样的,只不过有一些锦上添花的设计
    594duck
        22
    594duck  
       2020-09-30 05:02:34 +08:00 via iPhone
    另外推荐 ssd 做长时间存储的。我只能说你们是勇士。

    结束
    msg7086
        23
    msg7086  
       2020-09-30 06:32:15 +08:00
    问就是找专业的去咨询。

    你来问,多半是因为不懂。不懂的人,看着别人给的建议组起来机子,一样不懂得调优,不懂得运维。
    比如说阵列卡,哪种阵列卡好,阵列卡配哪种 SSD 好,组哪种 RAID,组多大的阵列,这你也不懂。
    又比如说买 HBA 做 ZFS,ZFS 一大堆参数怎么配好?用 Oracle ZFS 还是 OpenZFS 好?用 Solaris 还是用 FreeBSD 还是用 Linux 好? RAID 做成 all in Z3 好还是多个 Z2 vdev 好?内存按照 1T:1G 配还是按照多少配?

    别说你不懂,我也不懂,很多回答的人也没有做过全方位的测试,做过全方位测试的人给出的方案也不一定适合你的业务场景,更不说这些测试结果可能是企业机密……

    所以,嗯,如果是企业采购的话,找专业的砸钱做方案就是了。
    ungrown
        24
    ungrown  
       2020-09-30 15:50:45 +08:00
    @reus #21
    首先本帖的上下文语境中,RAID 特指排除掉非标准 RAID 之外的 RAID0 、RAID1 、RAID5 之类的名词及其相关的软硬件产品
    所以虽然在现实名空间中 RAIDZ 可以归入广义的 RAID 之中,但是在本帖名空间内 RAID 和 RAIDZ 指的是不同的具体事物
    其次,一句“原理是一样的,只不过有一些锦上添花的设计”并不能用来画等号,因为两者的特点并不相同
    RAID5 重建失败丢全部,ZFS 重建失败只会丢失出错的数据块
    这是不是原理一样?是的
    这是不是锦上添花?是的
    这是不是意味着 RAID5 能拿来跟 ZFS 相提并论?
    给你重新发言的机会!
    reus
        26
    reus  
       2020-09-30 16:45:25 +08:00
    @ungrown 好的
    rosees
        27
    rosees  
       2020-10-01 12:48:36 +08:00
    建议了解下 Windows 的存储空间功能
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1589 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 16:24 PVG 00:24 LAX 08:24 JFK 11:24
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86