大约 500G 的数据需要远程传输,请问用什么方式可以实现,排除百度云等 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
harrison0124
V2EX    程序员

大约 500G 的数据需要远程传输,请问用什么方式可以实现,排除百度云等

  •  
  •   harrison0124 2019-10-09 17:09:07 +08:00 15616 次点击
    这是一个创建于 2195 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题,试过了 chfs 服务器方式,Teamviewer 也不行,QQ 没试,应该也是不行。麻烦问问各位大大,还有什么方式呢?

    130 条回复    2019-10-12 16:55:11 +08:00
    1  2  
    JAYXU2012
        1
    JAYXU2012  
       2019-10-09 17:10:54 +08:00   16
    快递走一波?
    gdyer
        2
    gdyer  
       2019-10-09 17:11:35 +08:00
    rsync
    Michaelssss
        3
    Michaelssss  
       2019-10-09 17:11:53 +08:00
    这种换我就排除中间商,直接用直连分段传输了
    KasonPasser
        4
    KasonPasser  
       2019-10-09 17:12:20 +08:00
    切片,一份份传。传过去再让对方合并,要不自己写一个断点下载服务器。
    chevalier
        5
    chevalier  
       2019-10-09 17:12:28 +08:00
    移动硬盘,快递
    Beeethoven
        6
    Beeethoven  
       2019-10-09 17:12:31 +08:00
    快递啊
    rockyou12
        7
    rockyou12  
       2019-10-09 17:12:41 +08:00
    linux 服务器间 rsync 比较稳妥
    ztcaoll222
        8
    ztcaoll222  
       2019-10-09 17:14:17 +08:00
    分卷压缩, 然后一份一份传
    zarte
        9
    zarte  
       2019-10-09 17:15:45 +08:00
    ftp rsync
    linhua
        10
    linhua  
       2019-10-09 17:16:27 +08:00
    内网之间的话,QQ 也行,QQ 支持文件夹的断点续传
    VDimos
        11
    VDimos  
       2019-10-09 17:17:38 +08:00 via Android
    高铁呀
    CallMeReznov
        12
    CallMeReznov  
       2019-10-09 17:18:43 +08:00   2
    跨越地域就提着冷备份硬盘过去吧,然后到哪里在做差异更新
    这是最稳定,最快速,省钱的方式了.
    shakaraka
        13
    shakaraka  
    PRO
       2019-10-09 17:18:44 +08:00
    阿里云 oss
    tankren
        14
    tankren  
       2019-10-09 17:19:02 +08:00
    syncthing ?
    yougoUp
        15
    yougoUp  
       2019-10-09 17:23:11 +08:00
    自己写个可以断点续传功能的工具啊
    lonelygo
        16
    lonelygo  
       2019-10-09 17:26:38 +08:00   1
    我是认真的:快递硬盘。
    这不是笑话,不是玩笑,真的是冷备、异地灾备的好办法。
    adomit
        17
    adomit  
       2019-10-09 17:27:23 +08:00
    今天刚好碰到这个需求,就是一台来电脑准备重装系统,需要备份数据,我选择压缩分段,然后上传到 oss,安装好了再下载下来。
    xyfan
        18
    xyfan  
       2019-10-09 17:27:28 +08:00
    顺丰
    TimePPT
        19
    TimePPT  
    PRO
       2019-10-09 17:28:38 +08:00
    快递+1
    evam
        20
    evam  
       2019-10-09 17:29:24 +08:00
    500G 肯定走快递啊。想啥呢
    mumbler
        21
    mumbler  
       2019-10-09 17:31:36 +08:00 via Android
    任何远程传输都不能保证数据完整,移动硬盘是最快速最可靠的方案
    airyland
        22
    airyland  
       2019-10-09 17:35:12 +08:00
    上周通过 rsync 同步了 400g 数据库文件,所以时间不急的话加大带宽用 rsync 是靠谱的。
    514146235
        23
    514146235  
       2019-10-09 17:36:40 +08:00   2
    @mumbler 你是认真的吗?
    13913001584
        24
    13913001584  
       2019-10-09 17:36:45 +08:00   9
    https://file.pizza/
    web 文件直传,无需中间存储服务器
    tiiis
        25
    tiiis  
       2019-10-09 17:38:19 +08:00
    syncthing
    334862132
        26
    334862132  
       2019-10-09 17:38:30 +08:00
    一秒算 1M 的话 你一天也就下 85G 的资料 500G 的资料你要 24 小时不停的下将近 6 天 还要保证数据不出错 快递空运最多 3 天就能到 你选哪个?
    cirton
        27
    cirton  
       2019-10-09 17:47:17 +08:00
    放 U 盘里,然后用信鸽传送。
    zjyl1994
        28
    zjyl1994  
       2019-10-09 17:51:06 +08:00
    找块移动硬盘走顺丰次日达,比走公网快
    hjmeteor
        29
    hjmeteor  
       2019-10-09 17:51:42 +08:00 via Android
    500G 刻成光盘(刻 2 张)或移动硬盘顺丰、EMS。
    网络途径,切片 QQ、FTP、迅雷均可。
    annielong
        30
    annielong  
       2019-10-09 17:58:06 +08:00
    500G 不大,网络直链下载就行,大不了分卷压缩再下载
    zzutmebwd
        31
    zzutmebwd  
       2019-10-09 18:08:21 +08:00 via Android
    如果只考虑线上传输的话无疑是 p2p 最快 可以用 btsync(被墙)的国内版微力同步 稳稳跑满带宽,并且是切片式的,随意中断。
    zzutmebwd
        32
    zzutmebwd  
       2019-10-09 18:09:39 +08:00 via Android
    讲道理 p2p 式的同步真的很有魅力
    mumbler
        33
    mumbler  
       2019-10-09 18:16:25 +08:00 via Android   1
    @514146235 曾经 10M 带宽服务器传过 200G 数据,分片,一个个去校验,重传,搞了几个星期,最后放弃
    wtks1
        34
    wtks1  
       2019-10-09 18:18:56 +08:00 via Android
    移动硬盘加顺风就可以了
    eluotao
        35
    eluotao  
       2019-10-09 18:21:17 +08:00
    奶牛快传 应该没问题
    vtwoextb
        36
    vtwoextb  
       2019-10-09 18:23:09 +08:00
    rsync
    micate
        37
    micate  
       2019-10-09 18:43:08 +08:00
    分卷压缩了解下?拆分成合适的大小,直接走 QQ 就好了
    luozic
        38
    luozic  
       2019-10-09 18:47:38 +08:00
    加密+快递, 几十 T 都没啥问题。
    ARhen
        39
    ARhen  
       2019-10-09 18:48:55 +08:00
    @JAYXU2012 真机制 哈哈哈哈!
    想起来公司客户为了安全,每周报告走同城速达~
    514146235
        40
    514146235  
       2019-10-09 18:51:18 +08:00
    @mumbler 这个和网络没有关系,肯定是你写的程序有问题,或者你用的程序有问题。
    z7356995
        41
    z7356995  
       2019-10-09 18:53:46 +08:00 via Android
    pt 表示电影包一个包 1.7T 无压力
    CLANNADHH
        42
    CLANNADHH  
       2019-10-09 18:57:05 +08:00 via Android
    移动硬盘拷数据然后快递,难道不是最快最省事吗?
    loading
        43
    loading  
       2019-10-09 18:59:30 +08:00 via Android
    东风 17,使命必达。
    infra
        44
    infra  
       2019-10-09 18:59:46 +08:00
    @z7356995 pt 全称是啥?科普一下
    Shiweizhi
        45
    Shiweizhi  
       2019-10-09 19:31:28 +08:00
    HTTP FTP NFS,用 frp 映射到公网
    realpg
        46
    realpg  
    PRO
       2019-10-09 19:33:54 +08:00
    QQ 就完了
    随便找个对象存储也行
    开个按量付费的 VPS 传上去也行
    fqzz
        47
    fqzz  
       2019-10-09 19:36:59 +08:00
    syncthing
    enGrave93
        48
    enGrave93  
       2019-10-09 19:38:44 +08:00 via Android
    rsync
    ronman
        49
    ronman  
       2019-10-09 19:40:14 +08:00 via Android   1
    @infra private track
    maggiett
        50
    maggiett  
       2019-10-09 19:40:58 +08:00 via iPhone
    500G 又不是 500T,有必要快递吗?
    cigarzh
        51
    cigarzh  
       2019-10-09 19:56:07 +08:00
    宽带有那么窄吗?一会儿不就传完了
    sunny352787
        52
    sunny352787  
       2019-10-09 19:57:44 +08:00 &nbs; 1
    内个我问一下楼主啊,你的对外上行带宽是多少?咱们帮你算一下跑满带宽 500G 需要传多久
    z7356995
        53
    z7356995  
       2019-10-09 20:01:18 +08:00 via Android
    @infra private tracker
    wql
        54
    wql  
       2019-10-09 20:04:29 +08:00 via Android
    拿一个 1T 硬盘拷进去,人肉运送。
    Yaksha
        55
    Yaksha  
       2019-10-09 20:08:13 +08:00
    一般我们影视行业碰到这种几百 GB 乃至几 TB 的,都是直接发顺丰快递...
    markgor
        56
    markgor  
       2019-10-09 20:12:28 +08:00 via Android
    不用想,只要算。
    自己上行带宽和对方下行带宽,计算下大概时间。
    如果和快递时间差不多就快递吧,如果比快递时间少就直传
    noqwerty
        57
    noqwerty  
       2019-10-09 20:14:21 +08:00 via Android   1
    说一下网络情况吧,500G 还不一定需要快递,之前我们 rsync 传过 4T 的文件都很稳
    lalalakakaka
        58
    lalalakakaka  
       2019-10-09 20:28:00 +08:00
    才 500G,先分卷压缩一下,记得开校验。用 QQ 传都没问题!
    tatsuteng
        59
    tatsuteng  
       2019-10-09 20:29:56 +08:00
    养几只咕咕,绑存储卡
    exiaohao
        60
    exiaohao  
       2019-10-09 20:30:11 +08:00
    网好 /安保要求不高 rsync
    网烂 /安保要求高 顺丰快递
    haishiwuyuehao
        61
    haishiwuyuehao  
       2019-10-09 20:33:00 +08:00
    dog 脸。分卷打 zip 包,用 QQ 传不行吗。
    locoz
        62
    locoz  
       2019-10-09 20:38:37 +08:00 via Android
    500G 不大不小,一个硬盘刚好
    kingfalse
        64
    kingfalse  
       2019-10-09 20:46:23 +08:00 via Android
    快递 6666
    zjqzxc
        65
    zjqzxc  
       2019-10-09 20:57:25 +08:00
    500G/直连平均网速 得到的传输时间*2 后,如果大于 2 天,SSD 硬盘+顺丰;否则分卷压缩后网络传输
    chcx
        66
    chcx  
       2019-10-09 21:00:16 +08:00
    才 500G 直接 rsync/ftp 传 或者起个 web 服务,http 下载
    websterq
        67
    websterq  
       2019-10-09 21:02:15 +08:00
    。。折腾半天不如开个网盘会员
    mongodb
        68
    mongodb  
       2019-10-09 21:06:58 +08:00
    最重要的楼主没说是一堆小文件,还是几个大文件。。这样走线上方式也会需要看不同的方案。
    你几千万张图片和十来个大包,完全不一样的方案的。。
    yankebupt
        69
    yankebupt  
       2019-10-09 21:30:30 +08:00
    跨境的话,如果出方向可以考虑直接 rsync 大部分情况不挤,入方向运气不好的情况可能得租线路,看地区区别有可能正常,也有可能挤或者因为花更多钱的人预留了带宽质量而把你 QoS 掉
    reus
        70
    reus  
       2019-10-09 21:31:30 +08:00
    rsync,U 盘
    RicardoY
        71
    RicardoY  
       2019-10-09 21:32:48 +08:00
    rsync 吧
    raptor
        72
    raptor  
       2019-10-09 21:34:02 +08:00
    我以前公司的备份在 GPG 加密压缩后大概 500G,每周走 rsync 做一次远程备份,相当稳定,速度就看带宽了。
    Leigg
        73
    Leigg  
       2019-10-09 21:37:30 +08:00 via Android
    @13913001584 怎么我尝试没有用?一个浏览器选个文件然后开着,另一个打开生成的链接,点击下载,没有卵用,尝试了手机,电脑
    linmq
        74
    linmq  
       2019-10-09 21:39:18 +08:00 via iPhone
    OneDrive
    natforum
        75
    natforum  
       2019-10-09 21:40:14 +08:00
    500G 刻录到光盘了,快递
    shuperjolly
        76
    shuperjolly  
       2019-10-09 21:45:01 +08:00 via iPhone
    泰聊? 文件是照片为啥要排除百度云?
    imsuxp
        77
    imsuxp  
       2019-10-09 22:22:00 +08:00
    现在快递确实挺快的
    swsh007
        78
    swsh007  
       2019-10-09 22:27:20 +08:00 via Android
    国外没法子
    国内快递最好了
    1265578519
        79
    1265578519  
       2019-10-09 22:35:27 +08:00
    微力同步吧,基于 bt 协议的文件传输,可靠性高支持断点续传,错误重传
    V530Bur
        80
    V530Bur  
       2019-10-10 00:59:20 +08:00
    P2P 点对点专线?
    Rorshach
        81
    Rorshach  
       2019-10-10 01:14:32 +08:00
    快递啊,等效带宽 3M/s
    hhok520
        82
    hhok520  
       2019-10-10 01:37:14 +08:00 via Android
    500g 不是很大 如果不是批量小文件建议压缩后进行网络传输 这个分发脚本分发到指定终端 如果小文件的话还是建议快递 压缩解压耗时太多
    hhok520
        83
    hhok520  
       2019-10-10 01:40:55 +08:00 via Android
    @334862132 这带宽也太垃圾了些 不说千兆 百兆宽带都相当普及了 你描述的这种问题不合常理 当然也不排除没有 我觉得数据量不大 无需快递 除非全部都是几个 k 的小文件
    fstab
        84
    fstab  
       2019-10-10 07:44:46 +08:00 via Android
    用 QQ,不要点离线就好了。
    TimPeake
        85
    TimPeake  
       2019-10-10 08:30:03 +08:00
    哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈 快递 66666666
    BarZu
        86
    BarZu  
       2019-10-10 08:36:13 +08:00
    肯定快递快多了,想想你家宽带上传速度多少
    shenqi
        87
    shenqi  
       2019-10-10 09:02:35 +08:00
    前排出售闲置移动硬盘。
    gimp
        88
    gimp  
       2019-10-10 09:02:51 +08:00
    要是我就 tar.bz2 或者 7z 压缩后 split 分成多个块,然后用 Onedrive 同步过去再合并解压。
    amon
        89
    amon  
       2019-10-10 09:10:00 +08:00
    5G 了解一下?
    KsAigg
        90
    KsAigg  
       2019-10-10 09:19:50 +08:00
    先压缩一下 看看
    passerbytiny
        91
    passerbytiny  
       2019-10-10 09:21:13 +08:00
    @hhok520 #77 普及的只是家庭下行百兆,只有部分地区家庭上行超过了 20M,多数家庭上行和绝大多数商用服务器的带宽,是小于 10M 甚至只有 1M 的小水管。他这个 1M/s 的速度参考性很高。

    如果是一次性处理的话的,分卷压缩成多个 2-4G 的文件,然后逐个传送通过 QQ 等简单手段就能传送,接收端再合并解压缩。如果有安全性要求,就做 Md5、SHA1 等验证。分卷压缩、合并解压缩、网络传输、散列验证都很费时间或精力,所以只能用于一次性处理,要是经常传输,那就真得只能用快递。
    VisionTheta
        92
    VisionTheta  
       2019-10-10 09:25:46 +08:00
    我的话一般会使用 rsync,曾经传过 1T 左右的数据。当然一边是专线宽带,另外一边是云服务器。文件碎一些,不好压缩,等等问题的话,快递确实好用一些。问对方要一个机房地址,会有运维人员帮你 mount 上去。

    另外,我最烦这种发了一个问题,就再也不出现的人。感觉就是出了一个大家都会 /有点经验的题目,来骗铜币的。
    Dkngit
        93
    Dkngit  
       2019-10-10 09:25:56 +08:00
    ResilioSync
    micookie
        94
    micookie  
       2019-10-10 09:31:31 +08:00
    我是用的玩客云 Windows 客户端远程上传到家里,上传速度大概 3M/s
    337136897
        95
    337136897  
       2019-10-10 09:32:09 +08:00
    东凤快递啊,一秒必达
    zhensjoke
        96
    zhensjoke  
       2019-10-10 09:35:18 +08:00
    500G 随便用阿里云 OSS 或者又拍这种 FTP 都可以。。。

    怕损坏的话分卷压缩 1G 一个单元。
    sdushn
        97
    sdushn  
       2019-10-10 10:23:34 +08:00
    @eric6356 一种典型的丢包情形 这个图笑死我
    zhaishunqi
        98
    zhaishunqi  
       2019-10-10 10:24:37 +08:00
    @zjqzxc 老哥和我想的一样.
    如果对面或者这边网速不稳定,指不定下 100G 还没有 sf 快~
    doget
        99
    doget  
       2019-10-10 10:25:42 +08:00
    站快递一波
    MonoLogueChi
        100
    MonoLogueChi  
       2019-10-10 10:41:37 +08:00 via Android
    分卷压缩,然后 p2p 传输
    1  2  
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2607 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 41ms UTC 10:43 PVG 18:43 LAX 03:43 JFK 06:43
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86