把一个巨大的巨多文件的文件夹从一个磁盘移动到另一个磁盘,如何验证没有丢失或者损失文件? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
movq
V2EX    程序员

把一个巨大的巨多文件的文件夹从一个磁盘移动到另一个磁盘,如何验证没有丢失或者损失文件?

  •  
  •   movq 2020-12-20 08:45:29 +08:00 7314 次点击
    这是一个创建于 1757 天前的主题,其中的信息可能已经有所发展或是发生改变。

    Wky5FZAoUbG8auE

    YAhSZyfNVkoTrDF

    上面两个截图,是我把这个文件夹从一个机械盘复制到另一个机械盘之后查看的文件夹信息

    第一张图和第二张图,文件数目也是一样的,但是两张图的文件夹大小不一样(区别在 2MB 左右),这种有没有可能是移动过程中损坏了什么文件之类的?(移动过程中并没有提示什么)

    42 条回复    2020-12-26 08:41:42 +08:00
    troyl
        1
    troyl  
       2020-12-20 08:57:58 +08:00 via iPhone   2
    rsync
    nrtEBH
        2
    nrtEBH  
       2020-12-20 09:04:19 +08:00   2
    想要 GUI 的话可以试试
    FreeFileSync
    leafre
        3
    leafre  
       2020-12-20 09:07:34 +08:00 via iPhone
    ctrl c ctrl v
    MicroBotter
        4
    MicroBotter  
       2020-12-20 09:09:35 +08:00
    chemsum 遍历一遍?
    vcfghtyjc
        5
    vcfghtyjc  
       2020-12-20 09:33:49 +08:00
    二分查找找到第一个不同的文件 /文件夹
    terence4444
        6
    terence4444  
       2020-12-20 09:36:28 +08:00 via iPhone
    我记得以前有人用 BT 跨盘复制文件……
    Duolingo
        7
    Duolingo  
       2020-12-20 09:39:33 +08:00 via Android
    机械盘的话可能是分区簇大小不一致造成的
    0TSH60F7J2rVkg8t
        8
    0TSH60F7J2rVkg8t  
       2020-12-20 09:42:18 +08:00   3
    这个占用还和磁盘分区格式有关,比如,簇的大小,比如分配单元大小,假设一个机械硬盘是 4k,一个是 512 字节,那么你拷贝的时候,文件实际大小一样,但是两个盘的占用却不一样,4k 的会占用多一些,512 字节的会占用少一些。所以楼主这问题很有可能是分牌单元大小不同导致的,而并不是文件损坏。

    实在不放心就 checksum 算一遍吧。
    neteroster
        9
    neteroster  
       2020-12-20 09:47:32 +08:00
    wsqstar
        10
    wsqstar  
       2020-12-20 10:30:28 +08:00   2
    真真正正是一个好问题
    用 win 经常出现缺失文件的情况 还不报错
    所以我一般是把平常的文件都用云盘备份
    防止抽风
    代码啥的还是用 git
    实在不行就 check sum
    coderluan
        11
    coderluan  
       2020-12-20 10:40:47 +08:00   2
    只是大小的话, 直接拿 beyond compare 之类的软件, 对比下两个目录就完了, 非常快.
    loading
        12
    loading  
       2020-12-20 11:09:15 +08:00 via Android
    windows 下我用 fastcopy 带检验功能,osx 目前我还没有这个需求。
    virtualworld
        13
    virtualworld  
       2020-12-20 11:17:09 +08:00
    win 上用专门的拷贝软件 fastcopy teracopy 啥的都带校验。TC 也有复制验证。
    hadoop
        14
    hadoop  
       2020-12-20 11:34:50 +08:00 via Android
    这几十 g 就是算一遍 md5 啥的也很快了吧
    shyling
        15
    shyling  
       2020-12-20 11:40:51 +08:00
    finder copy 的时候应该带了验证 checksum 吧。。。

    这种一般是因为磁盘簇大小不一样导致的。。
    uhian
        16
    uhian  
       2020-12-20 11:48:33 +08:00
    beyond compare
    annielong
        17
    annielong  
       2020-12-20 12:29:16 +08:00
    只要不是复制粘贴,用第三方工具基本都自带效验的
    hantsy
        18
    hantsy  
       2020-12-20 12:33:15 +08:00
    文件不都是可以用 rsa,sha,md5 等等 可以检测一致性?
    mangogeek
        19
    mangogeek  
       2020-12-20 12:56:24 +08:00
    并不一定是丢失了文件,文件本身大小和文件占用磁盘大小是两码事,并且在不同的文件系统上可能不一样。
    snw
        20
    snw  
       2020-12-20 13:27:15 +08:00 via Android   1
    上面说 checksum 的,我曾经遇到过文件内容没问题但编码问题导致拷贝后文件名错乱的情况
    leaves7i
        21
    leaves7i  
       2020-12-20 14:25:40 +08:00
    确实很麻烦,尤其是手机和电脑传文件,莫名其妙就一堆照片和视频内容丢失了
    (文件还在,但是打不开,用软件看里面的数据都丢失了)
    所以我现在手机传文件是先打包成无压缩的 zip 包或者 7z 包再传
    jin7
        22
    jin7  
       2020-12-20 15:11:52 +08:00
    直接用 beyond compare 传送文件, 又好又快
    JCZ2MkKb5S8ZX9pq
        23
    JCZ2MkKb5S8ZX9pq  
       2020-12-20 15:21:55 +08:00
    @coderluan

    好久没在 mac 上用了,这个 beyond compare 是不是类似 totalcmd 里的比较文件夹?有时候手动备份倒是很需要那个功能。另外最好能跳过.git 目录,totalcmd 不能选择跳过哪些目录,这个可以嘛?
    z761031
        24
    z761031  
       2020-12-20 16:33:25 +08:00
    打个压缩包,复制,然后比对压缩包的 md5
    Livid
        25
    Livid  
    MOD
    PRO
       2020-12-20 17:19:14 +08:00
    rsync 跑两遍。
    Felldeadbird
        26
    Felldeadbird  
       2020-12-20 17:37:00 +08:00
    有可能是内存有问题。我之前就遇到过,A 文件哈希值是 1 .复制到 B 硬盘,或者其他地方。B 的哈希值就成 2 了。 后面换了内存就没这个问题了。

    至于验证的话,我觉得用同步软件去复制 是最好的方法了。rsync
    yzbythesea
        27
    yzbythesea  
       2020-12-20 17:38:21 +08:00
    rsync 正解
    coderluan
        28
    coderluan  
       2020-12-20 20:57:15 +08:00
    @JCZ2MkKb5S8ZX9pq 带过滤器的, 应该可以.
    w4ter
        29
    w4ter  
       2020-12-20 21:15:09 +08:00
    有个软件叫 Paragon Hard Disk Manager,整个硬盘无损备份还原,贼好用
    JeepLi
        30
    JeepLi  
       2020-12-20 21:17:34 +08:00
    md5sum
    nuk
        31
    nuk  
       2020-12-20 21:36:57 +08:00
    已经拷好的可以用 mtree 来对比,可以对比你想对比的一切东西
    包括,权限,时间戳,文件名,哈希,空文件夹。。
    ungrown
        32
    ungrown  
       2020-12-20 22:34:54 +08:00
    @terence4444 #6 现在有成熟的软件了,resilo 微力同步 之类的
    fox0001
        33
    fox0001  
       2020-12-20 23:10:36 +08:00
    可以考虑古老的 ghost
    coymail
        34
    coymail  
       2020-12-20 23:21:16 +08:00
    或许和软链接硬链接有关系,不同工具处理方式不一样,可以考虑用 rsync
    Licsber
        35
    Licsber  
       2020-12-20 23:24:32 +08:00
    rsync -c 跑两遍 我最近也在干这样的事情 表示现在对 macOS 的拷贝很不信任

    搞不懂复制逻辑 finder 看起来像是先拷过去格式再拷内容 我 dst 配置了一些自动化脚本 每次都爆炸(失败会重命名文件)

    现在做法是 rsync 同步到 dst 的 tmp 目录 再 mv 过去手动触发自动化脚本
    mingl0280
        36
    mingl0280  
       2020-12-21 07:11:22 +08:00
    我还以为是 windows……
    Mac 的话 rsync 拷两遍或者干脆写个脚本跑 sha256 吧
    GM
        37
    GM  
       2020-12-21 10:39:22 +08:00
    diff -r /path/to/src-dir. /path/to/dest-dir
    iceecream
        38
    iceecream  
       2020-12-21 10:54:43 +08:00
    1 楼的方案,就就可以了。
    Win 的话,2 楼的方案
    lff0305
        39
    lff0305  
       2020-12-21 11:39:43 +08:00
    可以用 PAR 工具生成校验 /恢复包,自己定义比例,比如 5%
    然后在目标机器校验,如果有错误并且不超过这个比例,可以自动修复
    3dwelcome
        40
    3dwelcome  
       2020-12-21 13:29:58 +08:00
    是程序员思维的话,随手 5~10 分钟写一段代码,算一下 hash 就可以解决的问题。
    byzf
        41
    byzf  
       2020-12-21 17:21:14 +08:00
    powershell 手写过石器时代版本控制,检查总共几十 gb 几万个文件的 md5 大约一分多钟(电脑很差)。
    MapleObserver
        42
    MapleObserver  
       2020-12-26 08:41:42 +08:00
    以前我复制包含大量小文件的文件夹时,会用存储方式做成压缩包,复制过去,解压。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     916 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 30ms UTC 18:51 PVG 02:51 LAX 11:51 JFK 14:51
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86