某些海外资源的正确下载姿势是? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
tchekai704
V2EX    宽带症候群

某些海外资源的正确下载姿势是?

  •  
  •   tchekai704 2016-11-16 09:22:33 +08:00 8418 次点击
    这是一个创建于 3252 天前的主题,其中的信息可能已经有所发展或是发生改变。

    事情是这个样子的: 我需要下载一个资源,这个资源并不直接提供 URL 下载,而是需要注册后获取一个一次性的下载连接,然而及时获取下载连接后,下载速度很慢。

    https://network.pivotal.io/products/pvotal-gpdb#/releases/1683/file_groups/411

    我现在想到的几个方法

    1. 直接下载
    2. 通过 SS 代理下载
    3. 直接在 vps 上使用 wget 下载,然后 ftp 拖回来

    方法 1,2 失败概率太高,不支持断点续传的情况下几乎 100%失败。 我目前倾向 3 ,但是 URL 是一次性的,我没办法获取一个未使用过并且是授权可下载的 url 。

    https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729&Signature=bWXwHinm-DqMerQjQS4lImKpAUOcj6jcJxLI9Etux9oOSghadorM0S1j70Eubgi9MUn4gYYAJKVDYNeqk4-ag9C9kxHn77QU-DQJW0bV-kRPw9pNmmWQTsu-muYHrgZvzWDqbRESb8RfSIvfSmvgqn1PE4vz683IP8TSvdE84jk_&Key-Pair-Id=APKAJLAM6FL65BYZP7UQ&filename=PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip

    PS :诡异的是这个连接 wget 后会自动退出我的 xshell 的 session

    kai@localhost:~$ wget https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729&Signature=bWXwHinm-DqMerQjQS4lImKpAUOcj6jcJxLI9Etux9oOSghadorM0S1j70Eubgi9MUn4gYYAJKVDYNeqk4-ag9C9kxHn77QU-DQJW0bV-kRPw9pNmmWQTsu-muYHrgZvzWDqbRESb8RfSIvfSmvgqn1PE4vz683IP8TSvdE84jk_&Key-Pair-Id=APKAJLAM6FL65BYZP7UQ&filename=PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip [1] 4485 [2] 4486 [3] 4487 kai@localhost:~$ --2016-11-16 01:12:05-- https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729 Resolving dtb5pzswcit1e.cloudfront.net (dtb5pzswcit1e.cloudfront.net)... 52.84.246.239, 52.84.246.28, 52.84.246.68, ... Connecting to dtb5pzswcit1e.cloudfront.net (dtb5pzswcit1e.cloudfront.net)|52.84.246.239|:443... connected. HTTP request sent, awaiting response... 403 Forbidden 2016-11-16 01:12:05 ERROR 403: Forbidden. logout [1] Exit 8 wget https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729 [2]- Done Signature=bWXwHinm-DqMerQjQS4lImKpAUOcj6jcJxLI9Etux9oOSghadorM0S1j70Eubgi9MUn4gYYAJKVDYNeqk4-ag9C9kxHn77QU-DQJW0bV-kRPw9pNmmWQTsu-muYHrgZvzWDqbRESb8RfSIvfSmvgqn1PE4vz683IP8TSvdE84jk_ Connection closed. Type `help' to learn how to use Xshell prompt. 
    第 1 条附言    2016-11-17 21:13:29 +08:00

    感谢@langmoe 的提示,翻了一下文档里面有要求提供一个token来进行请求,如果授权通过会redirect到真正的下载地址,这个地址同样应该是一次性的,即使我将token放入header中也没有用,这个文档解决了我vps下载该文件文件的问题;

    • 但是主帖中提到的这样的一次性连接其实还是很难解决,尤其没有文档情况下,只能通过浏览器来下载;
    • 至于ssh为什么会自动退出,目前也没有发现原因
      • 我把URL中用&分开的字符串当做命令输入shell中,ssh并未自动退出;
      • 我把整个URL输入shell中,有时会退出,有时不会;

    没看明白为什么,求解惑!

    # token已打码,注册后会有token~ $ wget -O "Greenplum-Database-4.3.8.1.zip" --post-data="" --header="Authorization: Token nUNfka-J4HEctyvmCsRy" https://network.pivotal.io/api/v2/products/pivotal-gpdb/releases/1683/product_files/4390/download --2016-11-17 20:57:34-- https://network.pivotal.io/api/v2/products/pivotal-gpdb/releases/1683/product_files/4390/download Resolving network.pivotal.io... 52.73.165.85, 54.165.133.147 Connecting to network.pivotal.io|52.73.165.85|:443... connected. HTTP request sent, awaiting response... 302 Found Location: https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479387477&Signature=UJcMFzvkZ3q-y36VgEfGrSC3tBc3jI4pCzF2Jf%7ELANbE8TCfNADwz9NHH-McVsnh%7EMRfrBJzj7OM7SjWopsfkeqOFS2SvnRg9lOlt9xOd7cnmOksANLRr4Pt1i7BCW5RnH7Mu57xY5eam6pa4fxkBjgf7O4vW9zA4KtU7%7EvMIS8_&Key-Pair-Id=APKAJLAM6FL65BYZP7UQ&filename=PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip [following] --2016-11-17 20:57:38-- # ...省略,超长了 Resolving dtb5pzswcit1e.cloudfront.net... 54.230.73.244, 54.230.73.235, 54.230.73.31, ... Connecting to dtb5pzswcit1e.cloudfront.net|54.230.73.244|:443... connected. HTTP request sent, awaiting response... 200 OK Length: 1688631843 (1.6G) [application/zip] Saving to: 'Greenplum-Database-4.3.8.1.zip' Greenplum-Database-4.3.8.1.zip 0%[ ] 6.77M 109KB/s eta 5h 8m 
    23 条回复    2016-11-17 21:17:04 +08:00
    langmoe
        1
    langmoe  
       2016-11-16 09:33:53 +08:00   2
    jarry777
        2
    jarry777  
       2016-11-16 09:38:17 +08:00
    我直接下载 400 KB/s
    爬梯子跑满了带宽
    所以你似乎需要换个梯子

    (至于你说的断点续传的情况我没试~
    cocochan
        3
    cocochan  
       2016-11-16 09:40:45 +08:00 via iPhone
    转义
    schezukNewTos
        4
    schezukNewTos  
       2016-11-16 09:51:27 +08:00   1
    为什么你的 wget 链接不加引号?
    tchekai704
        5
    tchekai704  
    OP
       2016-11-16 09:56:31 +08:00
    @schezukNewTos 谢谢提醒,就是没找到为什么 ssh 会自动退出的与 ROOT CAUSE 。
    kmahyyg
        6
    kmahyyg  
       2016-11-16 10:09:35 +08:00 via Android
    考虑使用 curl -O-
    LGA1150
        7
    LGA1150  
       2016-11-16 10:11:22 +08:00 via Android
    aria2c -c
    xiaoz
        8
    xiaoz  
       2016-11-16 10:12:56 +08:00
    试试 axel 多线程下载呢? https://faq.xiaoz.me/archives/95.html
    suantong
        9
    suantong  
       2016-11-16 10:43:35 +08:00
    我这都下好了。 1 , 2 分钟的事,你太纠结了。
    newworld
        10
    newworld  
       2016-11-16 10:46:55 +08:00 via iPhone
    @suantong 楼主下载的什么沙盒??
    suantong
        11
    suantong  
       2016-11-16 10:52:55 +08:00
    @newworld ,我都不知道这啥玩意,数据库?我只是下载玩玩。
    newworld
        12
    newworld  
       2016-11-16 10:54:51 +08:00 via iPhone
    @suantong 可以看看是啥呀 楼主敢不打码 说明应该没啥隐私 Google 相关名字 域名瞅瞅呗 好奇
    ryd994
        13
    ryd994  
       2016-11-16 11:50:44 +08:00 via Android
    你这里 forbidden 的原因多半是 URL 不全 试试单引号括起来
    楼上很多你这是个 AB 问题,其实正解楼上有很多
    我单说一下如果问题不变,强行走偏门解:
    Nginx HTTP 代理 proxy_store 配合 proxy_ignore_client_abort
    保存所有请求的内容
    事后 VPS 上慢慢翻
    squid 的缓存应该也可以实现,不过需要把文件头部的 header 之类去掉
    ff521
        14
    ff521  
       2016-11-16 12:36:04 +08:00
    建议换个好用的 ss
    tchekai704
        15
    tchekai704  
    OP
       2016-11-16 13:58:29 +08:00
    @newworld 没什么隐私,数据仓库 GreenPlum
    grayon
        16
    grayon  
       2016-11-16 14:04:20 +08:00
    SS 不好用的话你可以试试 SSR
    clino
        17
    clino  
       2016-11-16 14:05:15 +08:00
    wget 后面 url 加引号就行了
    shizhouren
        18
    shizhouren  
       2016-11-16 14:27:17 +08:00   1
    gapps 下载就超级慢,你们的是这样吗?
    komugi
        19
    komugi  
       2016-11-16 17:02:42 +08:00 via Android
    @shizhouren opengapps 很慢
    Vicer
        20
    Vicer  
       2016-11-16 17:17:47 +08:00 via Android
    楼主发一次性链接吧,我帮你。
    newworld
        21
    newworld  
       2016-11-16 18:24:51 +08:00 via iPhone
    @tchekai704 谢谢楼主解答 哈哈
    cst4you
        22
    cst4you  
       2016-11-17 03:42:51 +08:00
    这种热门的东西, 直接迅雷啊
    tchekai704
        23
    tchekai704  
    OP
       2016-11-17 21:17:04 +08:00
    @langmoe 你是怎么找到文档的?我找了一下,但是失败了。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2743 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 35ms UTC 09:10 PVG 17:10 LAX 02:10 JFK 05:10
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86