如题,假如我要下载一个 python 文件,但是我发现这个文件同时存放在华为,腾讯,阿里,亚马逊,豆瓣等地址.
想问下,代码怎么写,可以保证下载速度最快?
因为文件都是一样的,所以,可以同时从 5 个地方一起拉取,然后在本地拼合还是怎么解决呢?
1 bzj 2021-01-20 10:35:03 +08:00 2 种思路 1.客户端发请求 ping5 个地址获取响应时间,找到最快的。 2.记录客户端的 ip 获取位置,跟 5 个地址比较,选择最近的。 |
![]() | 2 takemeaway 2021-01-20 10:37:50 +08:00 python 能有多大?? 用视频做例子吧,实际上下载跟你本地网速还有服务器网速相关,光谈一边没意义。 如果你的网速小于或等于服务器网速,那么直接从一个地方下载就行了。 如果你的网速大于服务器网速,那么根据比例来加服务器,服务器文件做切片,分开下载,完了拼接起来。 要保证速度最快就是让自己的电脑速度跑满即可。 |
![]() | 3 imdong 2021-01-20 10:41:35 +08:00 如果支持断点续传,则获取文件大小后,本地分成若干小块。 然后每个源下载不同的块,这就类似 BT 下载了。 |
4 zictos 2021-01-20 10:45:35 +08:00 文件都是一样的,为何又要拼合 |
5 zictos 2021-01-20 10:49:03 +08:00 如果每个地方下一部分也无法超过你的最大网速,直接一个地方多线程下载就行,除非有限速 |
6 snowhunter 2021-01-20 10:56:35 +08:00 距离最近就差不多了、比如中国就从阿里下,美国就从 aws 下。 或者电信从电信机房,联通从联通机房。 真的要考虑下载问题适合把文件配置在 CDN 上面,CDN 自动把你做这些分类 |
![]() | 7 heixiaobai 2021-01-20 10:57:57 +08:00 |
8 laumm1314 2021-01-20 11:05:35 +08:00 根据 http 断点续传协议按照文件大小分为五个部分,分别从五个地方下载,最后写个 python 脚本合并 |
9 x66 2021-01-20 11:15:03 +08:00 如果都支持断点续传。 1.大多数情况下服务器带宽大于本地带宽,选一个最快的服务器多线程下载就好了 2.如果服务器带宽小于本地带宽,那才有必要从多个服务器分块下载 |
![]() | 10 DeeCheung 2021-01-20 11:48:40 +08:00 via Android 子进程 aria2c 多源 |
11 deorth 2021-01-20 12:11:26 +08:00 libaria2 |
12 q197 2021-01-20 13:47:25 +08:00 aria2 支持多个来源一起下 |
13 Overfill3641 2021-01-20 14:47:36 +08:00 ![]() 其实就是迅雷的镜像加速,但是缺点是只要一个源的文件损坏你最终下载的必定是损坏文件,你还排查不出哪个源有问题。(我就用这招恶心迅雷盗链 v |
![]() | 14 ik 2021-01-20 15:13:47 +08:00 via iPhone 没错,就是 aria2 |
![]() | 15 felixcode 2021-01-20 15:30:28 +08:00 via Android p2p 下载,做个 bt 种子,关闭 dht |
![]() | 16 msg7086 2021-01-21 09:44:23 +08:00 via Android 一个 Python 文件要搞那么复杂嘛,又不是小片片。 |
17 tankren 2021-01-21 10:12:17 +08:00 这是什么神奇需求?几个 G 的 python 文件? |
![]() | 18 no1xsyzy 2021-01-21 11:23:21 +08:00 aria2 多源 如果担心 #13 的问题,考虑下把下载信息写成 meta4 文件,可以进行块级校验。 当然,BT 也行,添加 HTTP 上游,也能块级校验。 |
![]() | 19 xiaoqiao24 2021-01-25 09:12:40 +08:00 1. 本地带宽<服务器带宽(华为,腾讯,阿里,亚马逊,豆瓣等地址),随便找个服务器下载。因为这些服务器我认为大多都会做最近节点匹配,让你下载最快。 2. 本地带宽>>服务器带宽,那就将文件切割,然后分开下载,最后拼接。 |