事情是这个样子的: 我需要下载一个资源,这个资源并不直接提供 URL 下载,而是需要注册后获取一个一次性的下载连接,然而及时获取下载连接后,下载速度很慢。
https://network.pivotal.io/products/pvotal-gpdb#/releases/1683/file_groups/411
我现在想到的几个方法
方法 1,2 失败概率太高,不支持断点续传的情况下几乎 100%失败。 我目前倾向 3 ,但是 URL 是一次性的,我没办法获取一个未使用过并且是授权可下载的 url 。
PS :诡异的是这个连接 wget 后会自动退出我的 xshell 的 session
kai@localhost:~$ wget https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729&Signature=bWXwHinm-DqMerQjQS4lImKpAUOcj6jcJxLI9Etux9oOSghadorM0S1j70Eubgi9MUn4gYYAJKVDYNeqk4-ag9C9kxHn77QU-DQJW0bV-kRPw9pNmmWQTsu-muYHrgZvzWDqbRESb8RfSIvfSmvgqn1PE4vz683IP8TSvdE84jk_&Key-Pair-Id=APKAJLAM6FL65BYZP7UQ&filename=PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip [1] 4485 [2] 4486 [3] 4487 kai@localhost:~$ --2016-11-16 01:12:05-- https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729 Resolving dtb5pzswcit1e.cloudfront.net (dtb5pzswcit1e.cloudfront.net)... 52.84.246.239, 52.84.246.28, 52.84.246.68, ... Connecting to dtb5pzswcit1e.cloudfront.net (dtb5pzswcit1e.cloudfront.net)|52.84.246.239|:443... connected. HTTP request sent, awaiting response... 403 Forbidden 2016-11-16 01:12:05 ERROR 403: Forbidden. logout [1] Exit 8 wget https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729 [2]- Done Signature=bWXwHinm-DqMerQjQS4lImKpAUOcj6jcJxLI9Etux9oOSghadorM0S1j70Eubgi9MUn4gYYAJKVDYNeqk4-ag9C9kxHn77QU-DQJW0bV-kRPw9pNmmWQTsu-muYHrgZvzWDqbRESb8RfSIvfSmvgqn1PE4vz683IP8TSvdE84jk_ Connection closed. Type `help' to learn how to use Xshell prompt.
感谢@langmoe 的提示,翻了一下文档里面有要求提供一个token来进行请求,如果授权通过会redirect到真正的下载地址,这个地址同样应该是一次性的,即使我将token放入header中也没有用,这个文档解决了我vps下载该文件文件的问题;
没看明白为什么,求解惑!
# token已打码,注册后会有token~ $ wget -O "Greenplum-Database-4.3.8.1.zip" --post-data="" --header="Authorization: Token nUNfka-J4HEctyvmCsRy" https://network.pivotal.io/api/v2/products/pivotal-gpdb/releases/1683/product_files/4390/download --2016-11-17 20:57:34-- https://network.pivotal.io/api/v2/products/pivotal-gpdb/releases/1683/product_files/4390/download Resolving network.pivotal.io... 52.73.165.85, 54.165.133.147 Connecting to network.pivotal.io|52.73.165.85|:443... connected. HTTP request sent, awaiting response... 302 Found Location: https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479387477&Signature=UJcMFzvkZ3q-y36VgEfGrSC3tBc3jI4pCzF2Jf%7ELANbE8TCfNADwz9NHH-McVsnh%7EMRfrBJzj7OM7SjWopsfkeqOFS2SvnRg9lOlt9xOd7cnmOksANLRr4Pt1i7BCW5RnH7Mu57xY5eam6pa4fxkBjgf7O4vW9zA4KtU7%7EvMIS8_&Key-Pair-Id=APKAJLAM6FL65BYZP7UQ&filename=PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip [following] --2016-11-17 20:57:38-- # ...省略,超长了 Resolving dtb5pzswcit1e.cloudfront.net... 54.230.73.244, 54.230.73.235, 54.230.73.31, ... Connecting to dtb5pzswcit1e.cloudfront.net|54.230.73.244|:443... connected. HTTP request sent, awaiting response... 200 OK Length: 1688631843 (1.6G) [application/zip] Saving to: 'Greenplum-Database-4.3.8.1.zip' Greenplum-Database-4.3.8.1.zip 0%[ ] 6.77M 109KB/s eta 5h 8m
![]() | 1 langmoe 2016-11-16 09:33:53 +08:00 ![]() |
![]() | 2 jarry777 2016-11-16 09:38:17 +08:00 我直接下载 400 KB/s 爬梯子跑满了带宽 所以你似乎需要换个梯子 (至于你说的断点续传的情况我没试~ |
3 cocochan 2016-11-16 09:40:45 +08:00 via iPhone 转义 |
4 schezukNewTos 2016-11-16 09:51:27 +08:00 ![]() 为什么你的 wget 链接不加引号? |
![]() | 5 tchekai704 OP @schezukNewTos 谢谢提醒,就是没找到为什么 ssh 会自动退出的与 ROOT CAUSE 。 |
![]() | 6 kmahyyg 2016-11-16 10:09:35 +08:00 via Android 考虑使用 curl -O- |
![]() | 7 LGA1150 2016-11-16 10:11:22 +08:00 via Android aria2c -c |
![]() | 8 xiaoz 2016-11-16 10:12:56 +08:00 试试 axel 多线程下载呢? https://faq.xiaoz.me/archives/95.html |
9 suantong 2016-11-16 10:43:35 +08:00 |
![]() | 12 newworld 2016-11-16 10:54:51 +08:00 via iPhone @suantong 可以看看是啥呀 楼主敢不打码 说明应该没啥隐私 Google 相关名字 域名瞅瞅呗 好奇 |
![]() | 13 ryd994 2016-11-16 11:50:44 +08:00 via Android 你这里 forbidden 的原因多半是 URL 不全 试试单引号括起来 楼上很多你这是个 AB 问题,其实正解楼上有很多 我单说一下如果问题不变,强行走偏门解: Nginx HTTP 代理 proxy_store 配合 proxy_ignore_client_abort 保存所有请求的内容 事后 VPS 上慢慢翻 squid 的缓存应该也可以实现,不过需要把文件头部的 header 之类去掉 |
14 ff521 2016-11-16 12:36:04 +08:00 建议换个好用的 ss |
![]() | 15 tchekai704 OP @newworld 没什么隐私,数据仓库 GreenPlum |
![]() | 16 grayon 2016-11-16 14:04:20 +08:00 SS 不好用的话你可以试试 SSR |
![]() | 17 clino 2016-11-16 14:05:15 +08:00 wget 后面 url 加引号就行了 |
![]() | 18 shizhouren 2016-11-16 14:27:17 +08:00 ![]() gapps 下载就超级慢,你们的是这样吗? |
19 komugi 2016-11-16 17:02:42 +08:00 via Android @shizhouren opengapps 很慢 |
![]() | 20 Vicer 2016-11-16 17:17:47 +08:00 via Android 楼主发一次性链接吧,我帮你。 |
![]() | 21 newworld 2016-11-16 18:24:51 +08:00 via iPhone @tchekai704 谢谢楼主解答 哈哈 |
![]() | 22 cst4you 2016-11-17 03:42:51 +08:00 这种热门的东西, 直接迅雷啊 |
![]() | 23 tchekai704 OP @langmoe 你是怎么找到文档的?我找了一下,但是失败了。 |