寻求一个高速低成本的公有云下云数据迁移方案 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
wangyzj
V2EX    程序员

寻求一个高速低成本的公有云下云数据迁移方案

  wangyzj 330 天前 2254 次点击
这是一个创建于 330 天前的主题,其中的信息可能已经有所发展或是发生改变。

寻求一个高速低成本的公有云下云数据迁移方案

最好是各位彦祖实操过的,有数据支撑

主要关注迁移速度和所需时间

数据量为 10TB 级别,均为文件存储

我简单咨询过云厂商,貌似不能拿硬盘去直接插入

不知道各位彦祖有没有实操经验

万分感谢

第 1 条附言    330 天前
程序可以改,数据变化还是比较大的

停机迁移时间最好不超过 24 小时
25 条回复    2024-11-19 14:42:52 +08:00
fredcc
    1
fredcc  
   330 天前
AWS 有 snowball 服务,国内公有云的话,只要出流量费,速度不是问题。10T 按流量计费也才 8000 元
qiuyoo
    2
qiuyoo  
   330 天前
在同一个云服务商,买一个主机(带宽固定,不需要额外费用的),正常情况同一个云主机商访问自家云存储,费用很低。然后代理慢慢下载,不行就多买几台。
dode
    3
dode  
   330 天前
可以采购云服务商的裸金属服务器,备份硬盘拿出来吗
juzisang
    4
juzisang  
   330 天前
OSS 打包上传下载恢复。
esee
    5
esee  
   330 天前 via Android
你前提都没指定,很难跟你说具体方案,比如程序能不能改动,文件是否存在经常变动还是只读的情况。
wangyzj
    6
wangyzj  
OP
   330 天前
@esee #5 程序可以改,数据变化还是比较大的
realpg
    7
realpg  
PRO
   330 天前
空手套 100K 级别迁移方案
esee
    8
esee  
   329 天前
@wangyzj 你都可以停机了,还 24 小时那么长,那还有啥纠结的呀,就付个流量费,直接导出就完事了呀,10T 数据量真不大。但是如果你都是小文件文件数量多,那可能时间长一些,考虑一下文件数量,千兆带宽跑满,几个小时就导完了
cust2008
    9
cust2008  
   329 天前
@wangyzj 搞个同一家云公司的低成本的云服务器然后迁移 或者按需付费的 迁移 可以吧
catsnl
    10
catsnl  
   329 天前 via iPhone
标贴看成高速公路传输,我还以为是卡车运硬盘
crackidz
    11
crackidz  
   329 天前
假如你需要传输 20 个小时,你算一下带宽需求不就好了...

反正是停机嘛
wangyzj
    12
wangyzj  
OP
   329 天前
@realpg #7
wangyzj
    13
wangyzj  
OP
   329 天前
@esee #8 小文件是比较多,这不寻思尽量花小钱办大事么
如果没啥好办法只能买线
wangyzj
    14
wangyzj  
OP
   329 天前
@cust2008 #9 可我是要下云
hongfs"
    15
hongfs  
   329 天前
@wangyzj #14 OSS 10TB 套餐包,也就四千多。
dann73580
    16
dann73580  
   328 天前
10t 不多啊,为啥不能在线着慢慢跑? rsync 跑完后停机再增量跑下变化的就可以直接下掉上线了啊?
Kinnice
    17
Kinnice  
   328 天前
三四千差不多,直接买流量包就可以
yc8332
    18
yc8332  
   328 天前
数据迁移过程不停机,就是要切到云上的时候停一会就行。。。就是通过数据库同步功能做的。。数据也有几个 t
dilu
    19
dilu  
   328 天前
文件系统,我理解就是图片视频之类的静态资源呗?假设是这样的话那就很简单啊 甚至都不用停机

首先,假定原本的数据源为 A ,新的数据源为 B ,对 A 和 B 的操作主要就是读和写嘛~

对于读,可以先不用修改,返回的地址不同就行了,例如 A 返回的是 a.xxx.com/y.jpg B 返回的是 b.xxx.com/z.jpg

对于写,可以设置一个开关,第一步先双写一段时间,返回的读地址是 A 的,经过一段时间可以按流量返回读 B 的地址。

经过一段时间的验证,确认数据源 B 是稳定的之后,改写的开关,改为只写到 B ,只返回 B 的地址。当然此时 A 依然可以访问。

同时,想办法把 A 的文件拷贝到 B ,这个随便你怎么搞都行,主要成本在流量费上。假设有千兆的同步速度,平均稳定在 100Mb/s 的话,10*1024*1024/100/3600 约等于 29 小时,速度还算可以的。

再验证一段时间,数据源 B 完全没问题之后,把之前指向 A 域名的全部更新为指向 B ,再过一段时间确认没问题了再彻底下掉 A 即可。
wangyzj
    20
wangyzj  
OP
   328 天前
@yc8332 #18 虽然我和你的场景不一样,但你应该不是一个库那么大把?
wangyzj
    21
wangyzj  
OP
   328 天前
@dilu #19 你这个针对互联网场景可以,我这个不太一样,不过还是谢谢
yc8332
    22
yc8332  
   327 天前
@wangyzj 不是,有好几个库。。最大的 2t 左右
cyningxu
    23
cyningxu  
   327 天前 via Android
都可以停机,那方案不是贼简单?
q958951326
    24
q958951326  
   327 天前
弄个百度云盘会员,没多少钱。操作简单,速度取决于你的云服务器的上行带宽,愿意花钱就开个临时带宽升级(我这里开一天 300 多),不愿意就慢慢跑呗。
wangyzj
    25
wangyzj  
OP
   327 天前
@yc8332 #22 也不算小
关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2185 人在线   最高记录 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 23ms UTC 16:09 PVG 00:09 LAX 09:09 JFK 12:09
Do have faith in what you're doing.
ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86