4000w 每个 10kb 左右的文件如何快速压缩部署到服务器上 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
tigiyj
V2EX    问与答

4000w 每个 10kb 左右的文件如何快速压缩部署到服务器上

  •  
  •   tigiyj 2018-03-23 09:33:51 +08:00 3676 次点击
    这是一个创建于 2761 天前的主题,其中的信息可能已经有所发展或是发生改变。
    文件是在本地的,现在打算压缩上传到服务器上,不知道是不是硬盘小文件太多,导致压缩的速度很慢(7z 压缩,仅存储模式),公司其他几台电脑压缩很快(700w 个文件,5000KB/S),但是我用来放数据的硬盘特别慢(碎片整理前 1000kb/s,整理后 300kb/s 更慢了).
    21 条回复    2018-03-27 10:36:29 +08:00
    kokutou
        1
    kokutou  
       2018-03-23 09:36:52 +08:00 via Android
    上固态。或者晚上下班挂着,下周上班再传。
    机械盘小文件就是很慢。
    natforum
        2
    natforum  
       2018-03-23 09:43:24 +08:00 via Android
    sync
    pkookp8
        3
    pkookp8  
       2018-03-23 09:46:52 +08:00 via Android
    直接拷贝整个分区怎么样
    aksoft
        4
    aksoft  
       2018-03-23 09:51:00 +08:00
    ghost~~
    tigiyj
        5
    tigiyj  
    OP
       2018-03-23 09:59:07 +08:00
    @kokutou 复制文件很慢(20 几 w 要 1 个多小时),测试过从数据硬盘复制到其他电脑,大概 20 几万的文件,压缩起来很快
    zn
        6
    zn  
       2018-03-23 10:05:16 +08:00 via iPhone
    直接做硬盘镜像可能还快一些。
    tigiyj
        7
    tigiyj  
    OP
       2018-03-2310:06:49 +08:00
    @aksoft
    @zn
    服务器是 linux 的,想问问如何操作?
    aksoft
        8
    aksoft  
       2018-03-23 10:19:48 +08:00
    忽略我。。做硬盘镜像
    tees
        9
    tees  
       2018-03-23 11:07:59 +08:00
    感觉你可以试试 tar -cvf
    打包成一个文件先。
    msg7086
        10
    msg7086  
       2018-03-23 11:54:14 +08:00   2
    分目录打包。有条件的,先 dd 到 SSD 再处理。

    想起之前一个呆逼公司,用 36 块 4T 阵列硬盘硬钢 MySQL 升级,结果 5 个月完成了 20%的故事。
    不要重蹈他们的覆辙,买一块 SSD,节约你宝贵的生命。

    https://thoughts.t37.net/how-we-upgraded-a-22tb-mysql-cluster-from-5-6-to-5-7-in-9-months-cc41b391895d
    why1
        11
    why1  
       2018-03-23 13:08:09 +08:00
    把文件存入数据库呢
    qinrui
        12
    qinrui  
       2018-03-23 13:15:23 +08:00 via iPhone
    地图瓦片?
    7654
        13
    7654  
       2018-03-23 13:16:14 +08:00
    @tigiyj #7 双硬盘直接 dd
    云服务器 dd img
    tigiyj
        14
    tigiyj  
    OP
       2018-03-23 13:32:15 +08:00
    @msg7086 有分几个大目录,其中一个稍微小一点的文件夹,200w 数据 10G 内容,已经压缩了 5 小时多,才 65%进度.

    @why1 我采集数据的时候是存数据库的,单表 300g= =,然后把他生成一个个文件了

    @7654 数据是本地的,不知道该如何操作
    jemyzhang
        15
    jemyzhang  
       2018-03-23 14:21:16 +08:00
    不知道这样会不会快一点

    tar cf - . | (cd /path/to/new/disk && tar xf -)
    gleymonkey
        16
    gleymonkey  
       2018-03-23 14:29:00 +08:00
    rsync 推过去
    goodryb
        17
    goodryb  
       2018-03-23 15:10:37 +08:00
    linux 的话 直接 dd 出来,然后再 dd 进去 应该会快一些吧
    zn
        18
    zn  
       2018-03-23 16:19:43 +08:00 via iPhone
    @tigiyj dd if=/dev/源磁盘 of=目标文件.img
    akira
        20
    akira  
       2018-03-24 02:30:24 +08:00
    打包 不要压缩
    flynaj
        21
    flynaj  
       2018-03-27 10:36:29 +08:00 via Android
    这个跟操作系统,还有杀毒软件有关,我猜应该是 win7 以下系统还安装了杀毒软件
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1079 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 30ms UTC 18:08 PVG 02:08 LAX 11:08 JFK 14:08
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86