大佬们!~进来看下~~mongodb 和磁盘性能问题请教 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dtgxx
V2EX    问与答

大佬们!~进来看下~~mongodb 和磁盘性能问题请教

  •  
  •   dtgxx 2020-07-28 11:10:55 +08:00 1668 次点击
    这是一个创建于 1904 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前服务器有一块做了 raid0 的 4T 的 5400 转的盘,还有两块做了 raid1 的 7200 转的 6T 的盘。


    我有 2T 的文件目前存储在 raid1 的 6T 盘中,文件都是小文件,大约有 110 万个文件。


    mongodb 的数据文件存储在 6T 盘里面


    我现在想把这 110 万个文件,用 mongoinmport 的形式导入 mongodb,大家觉得这些文件放在 6Traid1 的盘中(同盘导入),导入 mongodb 效率高,还是把这些文件放到 raid0 的盘再导入效率高?


    6T 的读写性能肯定高于 4T 的,但是考虑到 mongo 也在 6T 里面,同盘同转速和不同盘不同转速不知道哪种选择好一点。。

    9 条回复    2020-07-28 18:00:31 +08:00
    ilucio
        1
    ilucio  
       2020-07-28 11:38:29 +08:00
    复制数据的话直接拷贝文件夹也可以的
    dtgxx
        2
    dtgxx  
    OP
       2020-07-28 13:52:34 +08:00
    @ilucio #1 你没看明白我的问题。
    koharu
        3
    koharu  
       2020-07-28 14:02:28 +08:00   1
    转速不一样挺难做比较的,理论 raid0 肯定比 1 快但是考虑到同盘我选择方案 1 同盘导入
    wellsc
        4
    wellsc  
       2020-07-28 14:02:55 +08:00
    存文件映射不就好了
    qping
        5
    qping  
       2020-07-28 14:03:10 +08:00   1
    我觉得是网络不是瓶颈的情况下,使用不同盘效率高,理由是 5400 转的磁头负责读,7200 转的负责写,不用同时负责读写。

    只是我的猜想,建议你尝试两种方案各 100M 试下
    dtgxx
        6
    dtgxx  
    OP
       2020-07-28 15:18:05 +08:00
    @koharu 确实是有点难凭感觉比较,感谢。
    @qping 我也有这样的感觉,像是做了读写分离,具体只能测试下了。
    ilucio
        7
    ilucio  
       2020-07-28 16:48:15 +08:00
    我的意思是直接用拷贝文件夹的方式就行了,不需要使用 mongoinmport
    dtgxx
        8
    dtgxx  
    OP
       2020-07-28 16:59:37 +08:00
    @ilucio #7 我没太理解,拷贝过去 mongodb 里面怎么使用呢?即使能用数据也不会走 zstd 之类的压缩了吧
    ilucio
        9
    ilucio  
       2020-07-28 18:00:31 +08:00
    @dtgxx 关掉 mongodb 服务,将整个 mongdb 数据文件夹拷贝过去,删除 diagnostic.data 文件夹,然后把旧的 mongodb 配置拷贝过来,修改下数据文件路径,这样 mongodb 就可以启动了。这种方法不会改变压缩方式等其它配置,因为只修改了数据文件路径
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5404 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 47ms UTC 09:15 PVG 17:15 LAX 02:15 JFK 05:15
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86