wget 怎么下载镜像网站的 RPM 包 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
plko345
V2EX    Linux

wget 怎么下载镜像网站的 RPM 包

  •  
  •   plko345 2018-06-21 20:19:42 +08:00 6724 次点击
    这是一个创建于 2671 天前的主题,其中的信息可能已经有所发展或是发生改变。

    使用网上搜到的

    wget -r -p -k -np -nc -e robots=off http://mirrors.163.com/centos/7.5.1804/updates/x86_64/Packages/

    各目录都有,但网站下的 RPM 包一个都没有下,只有一个 index.html

    请问要怎么使用 wget 工具完成这个要求

    26 条回复    2018-06-29 18:52:05 +08:00
    lyog
        1
    lyog  
       2018-06-21 20:32:37 +08:00 via iPhone
    难道不是 wget + 完整网址?
    plko345
        2
    plko345  
    OP
       2018-06-21 20:37:55 +08:00
    @lyog 额,什么意思?我要下载 centos 源下的所有 RPM 包,有几千个
    Lemzon
        3
    Lemzon  
       2018-06-21 20:38:37 +08:00
    这位老哥的意思应该是:用一个(尽可能少的) wget 命令将镜像网站上的 rpm 包全部下载
    yankebupt
        4
    yankebupt  
       2018-06-21 20:41:42 +08:00
    看了一眼参数
    r recursive
    p page-requisites
    k convert links.
    np no parent dir
    nc 不重复下载文件
    e robots off(不被 robots.txt 阻拦)
    好像已经完全够要求了,点开链接一看也是 html 含一堆 rpm 包,真是不知道为啥下不来......
    plko345
        5
    plko345  
    OP
       2018-06-21 20:42:42 +08:00
    @yankebupt 你能下吗?我只有一个 index.html 啊,我都试了 N 次了
    ysc3839
        6
    ysc3839  
       2018-06-21 20:46:01 +08:00 via Android
    @plko345 #2 搜索 wget mirror
    不过这种软件源要做镜像的话应该用专门的软件。
    yankebupt
        7
    yankebupt  
       2018-06-21 20:47:54 +08:00
    @plko345 wget 1.18 试了下,你贴的原命令能用
    lyog
        8
    lyog  
       2018-06-21 20:54:40 +08:00 via iPhone
    @plko345 哈哈我误解了,把网址最后的斜杠去掉有惊喜
    ysicing
        9
    ysicing  
       2018-06-21 20:54:41 +08:00 via Android
    Yum 仅下载不安装了解一下
    flynaj
        10
    flynaj  
       2018-06-21 21:20:02 +08:00 via Android
    用 rsync 同步,现在的开源镜像基本都是用这个,效率高速度快,只传输不同部分。
    xcai
        11
    xcai  
       2018-06-21 21:28:46 +08:00 via Android
    yum install * 然后 d ?
    plko345
        12
    plko345  
    OP
       2018-06-21 21:29:33 +08:00
    @flynaj 谢谢,查了下是有这个 rsync:// 的协议下载的,我去了解下

    @ysicing 这个是知道的,但是不知道怎么用 yum 下载源里的所有包,请指教
    Droi
        13
    Droi  
       2018-06-21 22:15:26 +08:00
    下载所有的包,还不如用 createrepo 做个本地源
    ls25145
        14
    ls25145  
       2018-06-21 22:28:46 +08:00
    不知道你目的是要包还是一定要用命令从镜像源下载,如果只是要包的很简单
    http://mirrors.cn99.com/centos/7/isos/x86_64/CentOS-7-x86_64-Everything-1804.iso
    iso 文件里有所有的包
    plko345
        15
    plko345  
    OP
       2018-06-21 22:41:36 +08:00
    @ls25145 这个只包含 base 源,我还要下 updates 和 epel 的
    plko345
        16
    plko345  
    OP
       2018-06-21 22:42:26 +08:00
    @Droi 不是要先下载好包才能用这个做本地源吗?要不本地源没包呀
    Droi
        17
    Droi  
       2018-06-21 23:11:20 +08:00
    @plko345 你可以试试这个教程用 reposync 同步源 https://blog.csdn.net/woshizhangliang999/article/details/78924972
    msg7086
        18
    msg7086  
       2018-06-21 23:13:19 +08:00
    @plko345 花个几秒钟搜索一下很难吗?
    Let me Google it for you: https://opennodecloud.com/howto/2013/12/02/howto-creating-local-yum-repomirror.html
    plko345
        19
    plko345  
    OP
       2018-06-22 06:36:52 +08:00 via Android
    @msg7086 亲,我的目的确实是实现本地源,但前提是先将上万个 rpm 包下载到本地,我考虑用 wget 命令可能是最简单的,但尝试多次没有成功,这才是我求助的目的,而不是问怎么实现本地源。不过还是感谢你的帮助
    Droi
        20
    Droi  
       2018-06-22 10:51:51 +08:00
    慢慢下载吧,单线程的。想要书的,只能自己抓虫多线程了。
    packages="http://mirrors.163.com/centos/7.5.1804/updates/x86_64/Packages/" && curl $packages >>tt.html &&cat tt.html | awk -F '"' '{print $2}'|while read line; do curl -O ${packages}${line}; done
    msg7086
        21
    msg7086  
       2018-06-22 13:07:46 +08:00   1
    @plko345 我贴的就是从下载到建源的一站式操作。

    "reposync - synchronize yum repositories to a local directory"

    是什么让你放着现成的方案不用,而要坚持用 wget 做镜像的?
    plko345
        22
    plko345  
    OP
       2018-06-22 13:48:13 +08:00
    @msg7086 谢谢,是无知让我这么做的,以前不知道,非常感谢
    snowonion
        23
    snowonion  
       2018-06-28 14:34:22 +08:00
    msg7086
        24
    msg7086  
       2018-06-28 23:40:06 +08:00
    @snowonion Good point. 回头抓一份汉化版放到我自己的网站上 ww
    plko345
        25
    plko345  
    OP
       2018-06-29 18:06:48 +08:00
    @snowonion 我寻求的帮助就是我在主题中说明的,并且我也很清楚我需要什么样的帮助,那位提供的方法除了下载方案不同,其它并不比我自己写的脚本方便多少,而且还有一些无法满足我建立源的地方
    如果我寻求的帮助是怎么建立源,我会说明的,但很明显我不是来寻问怎么建立源这个问题
    plko345
        26
    plko345  
    OP
       2018-06-29 18:52:05 +08:00
    @snowonion 你应该找个类似 <怎样理解他人的真实需求> 的文章
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2881 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 14:08 PVG 22:08 LAX 07:08 JFK 10:08
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86