perl多进程下载网页中所有链接的代码,感兴趣的朋友可以参考下。
#!c:perlbinperl.exe -w
use LWP::Simple;
my $last=264; #264是最后一页,web看出来的没有写自动的
#获取所有文章列表页面,存入@index_url
my $url_t = 'http://linux.chinaunix.netindex_';
my @index_url ={};
my $index_url="";
my $i =1;
$index_url[0] = "http://linux.chinaunix.netindex.shtml";
for ($i = 1; $i<$last; $i++)
{
$index_url[$i] = $url_t."$i.shtml";
}
my $maxchild=10; #最多10个进程
for($i=0;$i<=$maxchild-1;$i++)
{
my $child=fork();
if($child)
{ # child >; 0, so we're the parent
warn "launching child $childn";
}else{
do_child($i); # child handles
exit 0; # child is done
}
}
sub do_child
{
my $url="";
my $url_head="http://linux.chinaunix.net/***";
my $location = "e:mysoftperllinuxdoc";
my $t = 1;
my $webdoc="";
my $child_number=shift(@_);
print("child ,$child_number n");
for($i=$child_number;$i<$last;$i=$i+$maxchild)
{
$index_url = @index_url[$i];
my $webdoc = get $index_url;
$j=1;
print "正在处理 $index_url","n";
while ($webdoc =~ m#(/d{4}/d{2}/d{2}/d*.shtml)(.*?)14px">(.*?)<#sgi)
{
print $j,":$1---$3:";
$j++;
my $url=$url_head.$1;
my $file=$location.$3.".html";
my $code = getstore($url,$file);
if (is_error($code))
{
my $code= getstore($url,$location.$t.".html");
$t+=1;
print "--succeed 3--n";
# $t 针对文件名中有特殊字符,改用递增数字命名文件
}
else
{
print "--succeed 1--n";
}
}
}
exit;
}
说明:
开了10个进程从8:18开始下载,一共有264.shtml个页面,每个页面上有30个文件链接
263*30=7890
遇到index_54.shtml 171.shtml中间有错误
use of uninitialized value $webdoc in pattern match (m//) at line 50
9:04 不到处理完 共下载了6512个文件。(7890个文件中有些是同名字的文件)。