如何确保自己网盘的文件是没有损坏的? - V2EX
MakeItGreat

如何确保自己网盘的文件是没有损坏的?

  •  
  •   MakeItGreat Jul 29, 2021 via Android 3117 views
    This topic created in 1772 days ago, the information mentioned may be changed or developed.
    背景:Dropbox 付费,一万到十万个文件
    如何确保一个文件在很久之后没有损坏或者丢失
    损坏的可能来源:某个软件或者脚本修改了某个文件,物理损坏
    损坏的后果:在 Dropbox 提供的回滚过期之后,文件彻底损坏
    目前的思路?
    1.定时备份,扔到不同 oss 保存一年以及更久
    2.定期对全部文件 hash 计算,进行核对

    虚心请教各位还有没有更好的办法?
    如果这个问题是杞人忧天,也请大家指
    谢谢各位!
    21 replies    2021-07-31 16:03:54 +08:00
    delectate
        1
    delectate  
       Jul 29, 2021   1
    文件列表核查+md5 定期抽检+重点文件异地容灾多重备份
    akira
        2
    akira  
       Jul 29, 2021
    你不动他也是有概率损坏的。
    找另外一家存储服务也备份一份 基本上就没问题了
    ynyounuo
        3
    ynyounuo  
       Jul 30, 2021 via iPhone
    买一个远古 Dropbox 付费账号,享受无限文件回滚
    ruixue
        4
    ruixue  
       Jul 30, 2021   1
    愿意牺牲方便性(如在线预览、同步修改)的话,WinRAR 打包并添加恢复记录

    压缩包自带所有文件的 hash,解压时会校验,不一致会报错

    恢复记录使用 Reed-Solomon 纠错码,可以在损坏不严重的情况下重建数据

    https://documentation.help/WinRAR-zh/HELPArcRecovery.htm
    MaverickLee
        5
    MaverickLee  
       Jul 30, 2021
    用 MlutiPar 创建 Par2 恢复档
    Kagari
        6
    Kagari  
       Jul 30, 2021 via Android
    用 rclone 的 hash 校验
    sagaxu
        7
    sagaxu  
       Jul 30, 2021 via Android
    阿里云 OSS 三副本,加上跨区域备份,除非自己误操作,损坏的概率极低
    3dwelcome
        8
    3dwelcome  
       Jul 30, 2021   1
    @ruixue WinRar 加恢复卷打包,是国内特色,早期百度网盘有下载错误搞起来的。

    但是国外的网盘,正常都不存 SSD,都是存大容量机械硬盘,要坏就是一大片资料丢失,很少会存在只损坏个别字节的现象。

    加 hash 完全够了,加 RS 纠错码就是心理安慰。
    matrix67
        9
    matrix67  
       Jul 30, 2021
    备份的时候记录 hash
    存 2 份(或者 3 份)
    SuperMild
        10
    SuperMild  
       Jul 30, 2021
    如果文件不多,定期备份到 OSS 就蛮好的,OSS 有多副本。我自己不信任云服务商,所以自己做本地备份,备份到另一个硬盘,定期校验 hash 。
    745839
        11
    745839  
       Jul 30, 2021
    你们都备份些啥这么多文件
    yinxiangbiji
        12
    yinxiangbiji  
       Jul 30, 2021
    损坏就坏了呗
    efaun
        13
    efaun  
       Jul 30, 2021
    @yinxiangbiji #11 +1,传到网上坏了就坏了,真要保险自己组 RAID
    learningman
        14
    learningman  
       Jul 30, 2021 via Android   1
    @745839 node_modules (不是)
    koor
        15
    koor  
       Jul 30, 2021   1
    几年前传到百度网盘的照片,已经有好几张打不开了
    zxCoder
        16
    zxCoder  
       Jul 30, 2021
    备份
    msg7086
        17
    msg7086  
       Jul 30, 2021
    RAR 5% 恢复记录。
    neteroster
        18
    neteroster  
       Jul 30, 2021
    你方法没啥问题,就是备份 + hash
    Kagari
        19
    Kagari  
       Jul 31, 2021
    重新看了主楼,原来还没到这一步
    但是系统该如何判断这个操作是否为正常操作呢?就像加密勒索软件那样
    lz 可以用额外带增量备份的软件来备份,比如 restic 、duplicati
    然后才会遇到下一个问题:文件在上传的过程中损坏了怎么办
    wanguorui123
        20
    wanguorui123  
       Jul 31, 2021 via iPhone
    定期 HASH
    Ariver
        21
    Ariver  
       Jul 31, 2021 via iPhone
    goodsync ?
    About     Help     Advertise     Blog     API     FAQ     Solana     896 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 85ms UTC 20:24 PVG 04:24 LAX 13:24 JFK 16:24
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86