TB 级小文件备份方案 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
daimaosix
V2EX    问与答

TB 级小文件备份方案

  •  
  •   daimaosix 2020-05-04 18:09:41 +08:00 4597 次点击
    这是一个创建于 2035 天前的主题,其中的信息可能已经有所发展或是发生改变。

    服务器存放了大概 50T 的小文件数据,并且在不断增长中,目前想把这些数据备份到国内网盘上,但好像没有合适的增量备份方案,不知道各位有其他想法吗?

    33 条回复    2020-05-06 08:56:03 +08:00
    alexkkaa
        1
    alexkkaa  
       2020-05-04 18:20:26 +08:00 via Android
    国内网盘? gdrive 他不香吗
    daimaosix
        2
    daimaosix  
    OP
       2020-05-04 18:23:14 +08:00
    @alexkkaa 服务器都在国内,gdrive 用不了啊
    superrichman
        3
    superrichman  
       2020-05-04 18:24:24 +08:00 via iPhone
    妈耶 50t 数据,你还是买几块硬盘备份比较靠谱。
    alexkkaa
        4
    alexkkaa  
       2020-05-04 18:27:56 +08:00 via Android
    @daimaosix 可以挂个代理试试
    daimaosix
        5
    daimaosix  
    OP
       2020-05-04 18:29:19 +08:00
    @superrichman emmmm,硬盘要买好几块...而且主要是本地的网络不行,备份太慢了
    daimaosix
        6
    daimaosix  
    OP
       2020-05-04 18:49:17 +08:00
    @alexkkaa 太慢了老哥,50T 真不知道要备份到什么时间了....
    renmu
        7
    renmu  
       2020-05-04 19:00:02 +08:00 via Android
    看看国内哪家对象存储有解决方案,网盘应该是解决不了你的问题了
    yuzo555
        8
    yuzo555  
       2020-05-04 19:02:38 +08:00
    还是存到对象存储吧。

    新文件主动上传(或使用提供的 API 远程抓取)到对象存储,部分服务商(七牛、腾讯)提供镜像存储功能,如果新文件上传后一定会被访问,也可以设置镜像存储来同步新文件。
    老文件使用他们提供的迁移工具慢慢迁移咯。
    AntonChen
        9
    AntonChen  
       2020-05-04 19:03:39 +08:00 via Android
    阿里云 oss 归档存储
    aver4vex
        10
    aver4vex  
       2020-05-04 19:08:44 +08:00 via Android   3
    文件加密,名字都改成番号,群发各种 bt 论坛。
    GoLand
        11
    GoLand  
       2020-05-04 20:00:56 +08:00   3
    https://juicefs.com/

    jfs 了解一下,比较靠谱。
    a719114136
        12
    a719114136  
       2020-05-04 20:05:04 +08:00 via Android
    个人还是公司的,公司的话可以考虑 hdfs 以及其他分布式文件系统。
    个人的话还是多买一个硬盘每天定时拷贝吧
    Mai1me
        13
    Mai1me  
       2020-05-04 20:21:45 +08:00 via Android
    50t 数据 用 国内 网盘备份
    应该是家里有矿了。
    SingeeKing
        14
    SingeeKing  
    PRO
       2020-05-04 20:29:21 +08:00
    国内几乎唯一靠谱的方式是买硬盘 RAID5 或者 RAID10,要不然就不考虑成本去买阿里腾讯的归档存储

    国外的话,短时间 G Suite (自己买,不是白嫖)无限容量足够
    daimaosix
        15
    daimaosix  
    OP
       2020-05-04 20:43:52 +08:00
    @GoLand 没看明白这个是干啥的老哥
    daimaosix
        16
    daimaosix  
    OP
       2020-05-04 20:45:45 +08:00
    @GoLand 共享文件系统,如果存储用的都是第三方云厂商的,怎么看他定价还有一个自己的存储定价,专业版 0.13/GiB/月
    efaun
        17
    efaun  
       2020-05-04 20:49:30 +08:00
    冷备份或者磁带备份成本低又有保障
    flynaj
        18
    flynaj  
       2020-05-04 21:53:32 +08:00 via Android
    50t 一套 6t 硬盘就要 10 个。没有哪家的网盘这么大吧
    isnullstring
        19
    isnullstring  
       2020-05-04 21:57:07 +08:00
    直接买硬盘备份不好么,备份恢复速度又快
    价格也比任意云存便宜
    huihuilang
        20
    huihuilang  
       2020-05-04 22:23:26 +08:00 via Android
    用 115 吧,淘宝 1tb 充值打折才 10 块钱。。。50tb 也就几百块钱的事情。。。另外本地再搞个冷备份吧
    hyshuang2006
        21
    hyshuang2006  
       2020-05-04 22:50:08 +08:00
    50T ?信息没给全,怎么提供合适的建议。说不定有前面累积的数据都可以归档。
    daimaosix
        22
    daimaosix  
    OP
       2020-05-04 23:02:50 +08:00
    @flynaj 用 115 可以

    @huihuilang 是的,用的 115
    zakokun
        23
    zakokun  
       2020-05-04 23:04:46 +08:00
    这种一般都是弄对象存储啊, 方便检索和下载
    hst001
        24
    hst001  
       2020-05-04 23:30:03 +08:00
    直接买硬盘去机房拷贝吧,之后每天定时远程备份
    ceyes
        25
    ceyes  
       2020-05-05 00:56:20 +08:00 via iPhone
    aws S3 了解一下?
    msg7086
        26
    msg7086  
       2020-05-05 05:20:30 +08:00 via Android
    自己买硬盘本地慢慢下最靠谱了。
    放云,你就不怕账号没了文件取不回来?
    云当作第二备份倒是可以。第一备份还是放在自己手里好些。
    tankren
        27
    tankren  
       2020-05-05 08:54:38 +08:00
    还不如本地再备份一遍呢
    flynaj
        28
    flynaj  
       2020-05-05 10:05:59 +08:00
    @daimaosix #22 115 我看官网 500 块一年 有 5T,50T 一年就要 5000.
    GoLand
        29
    GoLand  
       2020-05-05 12:53:43 +08:00
    @daimaosix jfs 其实做的事就是让你像访问本地文件系统一样访问 oss,数据还是存在 oss
    daimaosix
        30
    daimaosix  
    OP
       2020-05-05 14:40:45 +08:00
    @flynaj 去淘宝买兑换码,5T 大概 30 块钱左右,永久生效,无上限。
    efaun
        31
    efaun  
       2020-05-05 21:01:41 +08:00
    @GoLand #29 我也看了下这个网站,但是他说的 1T 免费空间没懂,是注册了账号就可以使用他存储 1T 的数据(使用他提供的空间,就是一个免费网盘),还是可以通过他往自己的 oss 存 1T 的数据(使用自己的空间,类似 multcloud )?
    flynaj
        32
    flynaj  
       2020-05-05 23:16:25 +08:00 via Android
    @daimaosix 怎么可能,要真是这样只能说明 115 要跑路了。30 块怎么都不够一年的电费。
    wanguorui123
        33
    wanguorui123  
       2020-05-06 08:56:03 +08:00 via iPhone
    50T 小文件,要传 n 久吧
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     824 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 22:23 PVG 06:23 LAX 14:23 JFK 17:23
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86