wget批量下载网站目录下的所有文件

发布时间:2020-08-04编辑:脚本学堂
本文介绍下,使用wget命令批量下载网站目录下文件的方法,举了几个小例子,还学习下wget命令在批量下载时的用法,有需要的朋友参考下吧。

本节主要内容:
linuxjishu/14085.html target=_blank class=infotextkey>wget命令的批量下载功能。

例如,自动下载http://www.jb200.com/jb/下面的所有文件:
 

复制代码 代码示例:
wget -nd -r -l1 --no-parent http://www.jb200.com/jb/

注:
-nd 不创建目录;-r 递归下载;
-l1只下载当前目录下的文件;
–no-parent 不下载父目录中的文件。

指定下载制定后缀的文件,例如只下载http://www.jb200.com/jb/下.ipk文件和.gz文件:
 

复制代码 代码示例:
wget -nd -r -l1 --no-parent -A.ipk -A.gz http://www.jb200.com/jb/

搞好后,更换源,再opkg update恢复正常

下载网站目录下的除html 之外的文件和目录,且不遵守robots.txt的限制。
可以这样:
 

复制代码 代码示例:
wget -c -r -np -k -L --reject=html http://mirrors.rit.edu/rpi/images/ -e robots=off