各位递归下载使用的什么方法? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yQiW5pwLNQ
V2EX    问与答

各位递归下载使用的什么方法?

  yQiW5pwLNQ 2021-09-05 16:26:24 +08:00 1544 次点击
这是一个创建于 1500 天前的主题,其中的信息可能已经有所发展或是发生改变。

目前使用"github"的项目搭建了一个网盘的索引页面

我想要批量将文件转存下来(因为转存的网盘不一样,所以不存在一键等便携的转存方式)

我最开始的想法是利用 wget -r -c -np url

但是后面发现部分子目录可以成功拉取(有的缺少文件,有的完整)

目前来说,我想拉取一个目录,目录下面有 n 个 n 级目录

部分目录会变成 wget 的索引文件,打开文件会列出目录内的文件与文件的部分 path

(例如域名为 a.com ,一级目录为 1,二级目录为 2,以此类推

原本三级目录下的那个文件路径是 a.com/1/2/3/wenjia)

索引文件内的 url 就只是为 wenjian,而没有前面的 a.com/1/2/3

当然,以上可能是 wget 的记录方式

但是我后来发现 wget 不会检查三级目录内的文件是否拉取就结束了(也就是说三级目录内的文件依旧是处于索引状态而没有被成功拉取)

各位是如何正确递归拉取的?或者是我的参数有问题吗?

我知道可以再次执行相同的命令,再次运行 wget

但是我发现再次执行时,wget 会将(a.com/1)这种 url 认为是一个文件(其实是目录),wget 会检测当前本地的下载目录下存在一个相同名字的目录,就会停止进入 url 内检查这个到底是不是一个目录

而我本地的索引文件也不会被 wget 再次检测到

wget 载我再次执行时,只会告诉我(a.com/1:Is a directory)

3 条回复    2021-09-06 16:03:58 +08:00
felixcode
    1
felixcode  
   2021-09-05 16:52:03 +08:00
用 wget 的--mirror 参数试试
maomaochong199
    2
maomaochong199  
   2021-09-05 17:01:25 +08:00 via Android
我也需要解决方法
yQiW5pwLNQ
    3
yQiW5pwLNQ  
OP
   2021-09-06 16:03:58 +08:00
@felixcode 我刚刚尝试完毕,依旧存在下载不完全的问题(wget -m url)
关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     895 人在线   最高记录 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 24ms UTC 21:14 PVG 05:14 LAX 14:14 JFK 17:14
Do have faith in what you're doing.
ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86