上了 Ceph 以后才意识到有些东西不是一个人能够搞定的 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
ccde8259
V2EX    NAS

上了 Ceph 以后才意识到有些东西不是一个人能够搞定的

  •  
  •   ccde8259 2023-10-08 10:10:28 +08:00 3339 次点击
    这是一个创建于 734 天前的主题,其中的信息可能已经有所发展或是发生改变。

    自从上次搭 Rook Ceph 把 MySQL 扔上去跑的蠢事以来,又遇到一个心塞的问题,让我不得不考虑如何下 Ceph 。
    Rook Ceph 在 K8S 上跑了一年,除了性能烂的一。。踏糊涂以外倒没有带来什么可用性上的问题。于是准备将 ZFS 里的所有文件迁移进去 RGW 提供的对象存储里边……从这里开始事情变得离谱,向 RGW 写入的时候一看速度只有 25M/s……底层是单盘可以跑上 200M/s+的 HC530 ,在 Ceph 的 RGW 上只能跑出 25M/s 的速度……
    看了一看 Dashboard ,IOPS 打到了 100+,基本也是机械盘的极限……意味着也不是机械盘的问题……

    5 条回复    2023-10-09 07:44:15 +08:00
    zhenjiachen
        1
    zhenjiachen  
       2023-10-08 10:28:03 +08:00
    我之前也是用的 Rook Ceph ,然后有次断电了,结果 pod 就恢复不了了,,然后 Rook Ceph 里面数据也不知道存在哪完全找不回,现在换 nfs 了,只有一个 pod ,非常的轻量,然后还能直接上 nfs 服务器看到那些文件夹。断过一次电也没出过什么问题。
    ExplodingDragon
        2
    ExplodingDragon  
       2023-10-08 10:45:02 +08:00


    ceph 是同步写入 ... 如果是多副本的话就更慢了
    zizon
        3
    zizon  
       2023-10-08 21:14:44 +08:00
    记得 rgw 是个 python 的东西...
    换 cephfs/rbd 试试...
    aijam
        4
    aijam  
       2023-10-09 04:45:46 +08:00
    我一度怀疑,rgw 大量损耗在 s3 xml 解析上。要不换 swift API 试试看
    yanest
        5
    yanest  
       2023-10-09 07:44:15 +08:00 via Android   1
    以前我也觉得 ceph 不错,后来实践了一阵,总结就是,6 个节点( 60 个 osd )以下还是别浪费钱了。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5789 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 06:38 PVG 14:38 LAX 23:38 JFK 02:38
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86