这是一个创建于 3783 天前的主题，其中的信息可能已经有所发展或是发生改变。
之前在 aliyun 租了个 vps 做爬虫，现在爬虫完成后大概获得了 15G 的数据（已压缩）
这边网络最多 1MBps ，估计要下载很长时间，网上有人提到了 scp ，但是好像不能断点续传。现在服务器上什么也没有(ftp/http 服务器)。请问有什么比较好的方法把数据拖下来呢？
这边网络最多 1MBps ，估计要下载很长时间，网上有人提到了 scp ，但是好像不能断点续传。现在服务器上什么也没有(ftp/http 服务器)。请问有什么比较好的方法把数据拖下来呢？
第 1 条附言 2015 年 9 月 25 日
现在大致方法是
临时提升服务器带宽，开个 http 服务器，百度云离线
临时提升服务器带宽，开个 http 服务器，百度云离线
 | 1 pythoner 2015 年 9 月 23 日 rsync --partial |
 | 2 FinlayLiu 2015 年 9 月 23 日 迅雷。。。 |
 | 3 pixstone 2015 年 9 月 23 日 via iPhone 迅雷+1 |
 | 4 kslr 2015 年 9 月 23 日 via Android Yun or apt install nginx |
| 5 kslr 2015 年 9 月 23 日 via Android yum |
 | 6 ryd994 2015 年 9 月 23 日 via Android bypy 上传，百度的数据还不是都交给国家，没什么不放心的 另外用 filezilla 可以 sftp ，但是触发流量识别从此 vps 被消失的可能性很大 |
 | 7 constance 2015 年 9 月 23 日 bypy 上传到百度云 |
 | 8 loading 2015 年 9 月 23 日 via Android 装个 bypy ，上传到百度云，然后再下载。 |
 | 9 kkfnui 2015 年 9 月 23 日 迅雷 |
 | 11 jasontse 2015 年 9 月 23 日 via iPad lrzsz ....其实还是 scp |
 | 12 Tink PRO 起 web 服务， aria2 下 |
 | 15 phithon 2015 年 9 月 23 日  3 一键开启 http ： python -m SimpleHTTPServer php -S localhost:8080 一键开启 ftp: python -m pyftpdlib #需要安装 pyftpdlib 另外， rsync 比 scp 快得多，适合传输大量文件，而且支持增量传输。 三种方法楼主选择。。。 |
 | 17 regeditms 2015 年 9 月 23 日 弄个 nginx 然后 ip + 地址 访问下载了。好像是多个线程下载的。 |
 | 18 htfy96 OP |
 | 19 pmpio 2015 年 9 月 23 日 大文件还是用 7z 分一下卷吧，一个文件 512M ，不管用啥方法下载，保险系数都大得多。。。。 |
 | 20 JustZht 2015 年 9 月 23 日 bypy 配合 bcloud 客户端 |
 | 21 002jnm 2015 年 9 月 23 日 via iPhone 我试过迅雷可以超过 1M 宽带。不知道为什么 |
| 22 002jnm /div> 2015 年 9 月 23 日 via iPhone 。。我以为你阿里云 1m 宽带。。。当我没说。 |
 | 23 letitbesqzr 2015 年 9 月 23 日 |
| 24 JustZht 2015 年 9 月 23 日 @letitbesqzr 初次使用 bypy 程序会提示的吧...会给个链接 然后浏览器进去就能拿到 token 我记得一个月前还试了一次 |
 | 25 miemiekurisu 2015 年 9 月 23 日 via Android 1 ………………架个 Nginx ，直接 aria2c -c -x15 -s 15 拖下来 |
 | 26 likuku 2015 年 9 月 23 日 压缩了就不好用 rsync 了... rsync 适合大量小文件... |
| 27 likuku 2015 年 9 月 23 日 vps 不差空间的话，那就分成很多小卷，再用 rsync 拖。 btsync 也可以试试。。假若可能通讯的话。 |
 | 28 anjouslava 2015 年 9 月 23 日 可以用 SFTP ，支持断点续传，用 WinSCP ， SSH 登录就行，默认应该是 100kb 以上文件启用断点续传，不过建议还是设置为所有文件  |
 | 29 a1058021348 2015 年 9 月 23 日 via iPad 我都是用 Nginx+IDM 开 32 个线程下载的。。。。就算是美国 VPS 也能跑满百兆带宽。。。 |
 | 30 Aliencn 2015 年 9 月 23 日 3 往阿里云上传数据不限速，但是从阿里云下载速度就会限速了（阿里云服务器的带宽限制） 最快的方法是通过内网传到阿里云 oss 上（内网不限速），然后你在从 oss 上下载（受你带宽限制） |
| 31 ryd994 2015 年 9 月 23 日 via Android @letitbesqzr bypy 自带一个，可以用的 |
 | 32 maskerTUI 2015 年 9 月 24 日 via Android xftp |
 | 33 iamnuomi 2015 年 9 月 24 日 3 都闪开，用 UDP 才是王道 tsunami-udp tsunami-udp 是一款专为网络加速诞生的小工具。 思路很简单，使用 TCP 进行传输控制、用 UDP 进行数据传输。 这样可以无状态的进行数据传输，然后中间加一些文件校验和重传机制，达到加速传输的目的。 传统的 tcp 传统，基于长连接，很容易受网络波动的影响。特别是网络拥塞的情况下，只能通过多进程 /线程来进行有序传输。 https://github.com/cheetahmobile/tsunami-udp/wiki udt UDT is a reliable UDP based application level data transport protocol for distributed data intensive applications over wide area high-speed networks. UDT uses UDP to transfer bulk data with its own reliability control and congestion control mechanisms. The new protocol can transfer data at a much higher speed than TCP does. UDT is also a highly configurable framework that can accommodate various congestion control algorithms. (Presentation: PPT 450KB / Poster: PDF 435KB ) http://udt.sourceforge.net/ |
 | 34 akira 2015 年 9 月 24 日 2 晚上快 12 点的时候提升临时带宽到 100M ，瞬间下完 |
 | 35 webjin 2015 年 9 月 24 日 via Android 叫阿里云的人打包刻录光盘或者 U 盘，然后快递 |
 | 36 oott123 2015 年 9 月 24 日 via Android |
 | 37 davidyin 2015 年 9 月 24 日 去网吧下载比较快 |
 | 38 BRKA 2015 年 9 月 24 日 所以我就不能理解 1m 的带宽这主机怎么用啊... 同等价格的 bandwagon 服务比阿里云好多了啊。 |
 | 41 shoaly 2015 年 9 月 24 日 曾经下过 10 多个 G 的数据库, 由于服务器在国外非常的悲催 各种断, winscp 不靠谱, 因为文件大了之后, 断线之后他会找不到北, 最后的解决办法是搭建一个 http 服务器, 然后 挂迅雷 |
 | 42 leyle 2015 年 9 月 24 日 via Android 搭个 http 服务器，然后用 aria2c axel 这些支持多线程，支持断点续传的工具下载，我从 linode 下载大文件，都可以跑满我本地带宽。 |
 | 45 popok 2015 年 9 月 24 日 开 http ，随便一款可断点续传的下载工具拖吧，私有数据，反正迅雷也加不了多少速度。 |
 | 50 PandaSaury 2015 年 9 月 24 日 rsync 或者 scp |
这个会不会有影响 | 52 martifact 2015 年 9 月 24 日 搭个 http/ftp server, wget -c |
 | 53 liyvhg 2015 年 9 月 24 日 @a1058021348 我怎么想到了[丧心病狂]这个词... 32 个线程, 郭佳也不管管么 |
 | 54 R09PR0xF 2015 年 9 月 24 日 wget -c |
 | 56 qq446015875 2015 年 9 月 24 日 @htfy96 和学校似乎没关系，百度云开始限速了 |
 | 57 odirus 2015 年 9 月 24 日 就像楼上说的，搭建简单 HTTP ，用百度云去下载，然后你再从百度云下载回来，既可以断点续传，也永久保留了，何乐而不为。 |
 | 58 HarveyTvT 2015 年 9 月 24 日 axel -n 100 "url"!!!100 个妥妥的 |
 | 61 zhuangzhuang1988 2015 年 9 月 24 日 配置个 Nginx 然后用迅雷下载. |
 | 62 realpg PRO apt-get install nginx cp xxx.tar.gz /var/www/html |
| 63 odirus 2015 年 9 月 24 日 @bozong 百度云盘离线下载 http://pan.baidu.com/ |
| 64 odirus 2015 年 9 月 24 日 @letitbesqzr 为什么你们不直接开个 http 端口给百度云下载呢?怕被别人下载了？ |
 | 65 NovemberEleven 2015 年 9 月 24 日 我比较好奇爬什么数据，啊哈哈。 |
windows 下面 | 67 ultimate010 2015 年 9 月 24 日 via iPhone 限制出口带宽，什么工具都没用。 |
 | 68 dididada 2015 年 9 月 24 日 开迅雷 VIP ，秒下，速度很快， VIP 也不贵， TB 也可以买到，只要几块而已。 |
 | 69 wizardoz 2015 年 9 月 24 日 压缩成多个文件不靠谱，中间一个文件错误了全部都解不开。还是搭建一个ｗｅｂ服务，然后再爬回来本地。顺便把地址告诉大家分享一下。 |
 | 70 paw 2015 年 9 月 24 日 aria2 +1 |
 | 71 y1993bbz 2015 年 9 月 24 日 上传到 oss 在下载吧 |
 | 72 Andy1999 2015 年 9 月 24 日 via iPhone @a1058021348 然后变 SYN Flood 了 |
 | 73 nocheater 2015 年 9 月 24 日 1m 是阿里云的外网速度吧？ 如果是这样，你临时开一个阿里云的按流量计费的 100m 带宽的 vps ，从内网把数据先传过去（这个应该是千兆的），然后用任何下载工具都可以在半小时内搞定 |
| 75 a1058021348 2015 年 9 月 24 日 via iPad @Andy1999 反正没人看我博客，占满带宽也没啥。。。 |
| 76 Andy1999 2015 年 9 月 25 日 via iPhone @a1058021348 我是指多线程下载可能会造成 SYN Flood 攻击 |
 | 77 murusu 2015 年 9 月 25 日 安装 nginx ，临时开个 http 服务就得了 数据想保密的话压缩时加密一下 不要作死直接用 ssh 传大文件，高几率会被封端口 |
 | 78 guotie 2015 年 9 月 25 日 rsync. |
 | 79 congeec 2015 年 9 月 25 日 不要用 python http.server, 用这俩 https://github.com/sebsto/tsunami-udp https://github.com/GangZhuo/BaiduPCS nginx ， ftpd 啥的也行总之要有断点续传，不要加密（墙干扰），数据不需要那么精确的话用 UDP |
 | 80 Izual 2015 年 9 月 25 日 迅雷离线，从美国那边拉回将近 100G 的网站备份…… 然后我才想起来忘了分卷压缩…… |
 | 82 smileawei 2015 年 9 月 25 日 同机房开个按流量收费的 VPS 然后用内网 IP 拖过去 再下载下来。 15G*0.8 也没多少钱 |
 | 83 mxq0923 2015 年 9 月 25 日 传 OSS 后直接下载. |
Select Language