apache日志分割三种方法代码

发布时间:2020-09-15编辑:脚本学堂
有关apache日志分割的三种方法,包括rotatelogs分割apache日志、cronolog分割日志、perl脚本分割apache日志,需要的朋友参考下。

apacherizhi/ target=_blank class=infotextkey>apache日志分割方法详解 apache日志分割shell/ target=_blank class=infotextkey>shell脚本

一、rotatelogs(apache 自带的工具)
rotatelogs是一个配合Apache管道日志功能的程序。

例子:
 

CustomLog "|bin/rotatelogs /var/logs/logfile 86400" common

此配置会建立文件/var/logs/logfile.nnnn,其中的nnnn是名义上的日志启动时的系统时间 (此时间总是回卷时间的倍数,可以用于cron脚本的同步)。
在回卷时间到达时(在此例中是24小时以后),会产生一个新的日志。
CustomLog "|/opt/apache/bin/rotatelogs /opt/apache/logs/access_log.%d-%m-%y 800M" common

此配置会在日志文件大小增长到800兆字节时回卷该日志。
 

rotatelogs logfile [ rotationtime [ offset ]] | [ filesizeM ]

选项
logfile

它加上基准名就是日志文件名。如果logfile中包含'%',则它会被视为用于的strftime(3)的格式字串;
否则,它会被自动加上以秒为单位的.nnnnnnnnnn后缀。这两种格式都表示新的日志开始使用的时间。
rotationtime
日志文件回卷的以秒为单位的间隔时间
offset
相对于UTC的时差的分钟数。如果省略,则假定为0,并使用UTC时间。比如,要指定UTC时差为-5小时的地区的当地时间,则此参数应为-300。
filesizeM
指定回卷时以兆字节为单位的后缀字母M的文件大小,而不是指定回卷时间或时差。

可移植性:下列日志文件格式字串可以为所有的strftime(3)实现所支持,见各种扩展库对应的strftime(3)的手册。
 

%A 星期名全称(本地的)
%a 3个字符的星期名(本地的)
%B 月份名的全称(本地的)
%b 3个字符的月份名(本地的)
%c 日期和时间(本地的)
%d 2位数的一个月中的日期数
%H 2位数的小时数(24小时制)
%I 2位数的小时数(12小时制)
%j 3位数的一年中的日期数
%M 2位数的分钟数
%m 2位数的月份数
%p am/pm 12小时制的上下午(本地的)
%S 2位数的秒数
%U 2位数的一年中的星期数(星期天为一周的第一天)
%W 2位数的一年中的星期数(星期一为一周的第一天)
%w 1位数的星期几(星期天为一周的第一天)
%X 时间 (本地的)
%x 日期 (本地的)
%Y 4位数的年份
%y 2位数的年份
%Z 时区名
%% 符号`%'本身

二、cronolog
在apache的FAQ中,推荐了经过近2年发展已经比较成熟的一个工具cronolog:
安装:
configure=> make=> make install
非常适合日志按天轮循:对httpd.conf做一个很小的修改就能实现:
 

TransferLog "|/usr/sbin/cronolog /var/log/%Y%m%d.log"
ErrorLog "|/usr/sbin/cronolog /var/%Y%m%d-errors.log"

然后:日志将写入
 

/var/log/20090901.log
/var/log/20090901-errors.log
 

目录如果不存在的话,将自动创建

三、perl脚本控制,可以随便分割日志。
 

复制代码 代码示例:
#!/usr/bin/perl
my (%month,%date_log);
BEGIN{
  $month{Jan}="01";$month{Feb}="02";$month{Mar}="03";
  $month{Apr}="04";$month{May}="05";$month{Jun}="06";
  $month{Jul}="07";$month{Aug}="08";$month{Sep}="09";
  $month{Oct}="10";$month{Nov}="11";$month{Dec}="12";
}
my $hostip=GetIp();
my ($hostname)=$hostip=~/.(d+)$/;
my $localt;
#print "$hostipt$hostnamen";
my ($file,$flag)=('',0);
my $tmpfile="";
while(1){
 system("mkdir /var/apache_log") unless(-e '/var/apache_log');
 system("mkdir /var/tmp") unless(-e '/var/tmp');
 my ($sec,$min,$hour,$day,$mon,$year) = localtime();
  $mon++;$year -= 100;
  $year="0$year" if($year<10);
  $mon="0$mon" if($mon<10);
  $day="0$day" if($day<10);
 $tmpfile=$hostname.'_'.$year.$mon.$day.".log";
 if($hour>0 && $hour<2){
  if($flag==0){
   $file='';
   my $back_file="_$year$mon$day";
   system("cp /usr/local/apache2/logs/access_log /var/tmp/$back_file");
   split_apache_log($hostname,'/usr/local/apache2/logs/access_log');
   $flag=1;
  }
 }else{
  #print $flag,"n";
  $flag=0 if($flag==1);
 }
 sleep(1800);
}
#-------------------------------------
sub split_apache_log{
 my ($hostid,$access_log)=@_;
 my %hash=();
 my $flag_new_log=0;
 my $localt = localtime();
 printlog("nsplit apapche log at $localtnn");
 open(LIST,"$access_log")||die "$!"; 
 while(<LIST>){
  chomp;                                                                         
  my (@array)=$_=~/^(S+)s+S+s+S+s+[(S+).+]s+"(.+)"s+(d+)s+S+/;
  next if($array[3] eq '404');
  my $time_str=$array[1];
  $time_str=~s///t/g;
  $time_str=~s/:/t/g;
  my @t_s=split(/t/,$time_str);
  next if(not exists $t_s[2]); 
  $t_s[2]=substr($t_s[2],2,2);
  my $date_tmp="$t_s[2]$month{$t_s[1]}$t_s[0]";
  $file=$hostid.'_'."$date_tmp.log";
  push(@{$hash{$file}},$_);
  if(scalar(@{$hash{$file}})>=20000){
    my @arraytmp=splice(@{$hash{$file}}, 0, 20000);
    my $line=join("n",@arraytmp);    
    if(-e "/var/log/apache/$file"){
     open(OUT,">>/var/log/apache/$file");
     print OUT "$linen";
     close (OUT);     
     
     }else{
      $flag_new_log=1 if($flag_new_log==0);
     open(OUT,">>/var/apache_log/$file");
     print OUT "$linen";
     close (OUT);     
     }
  } 
 }
 close(LIST);
 foreach $file(sort {$a cmp $b} keys %hash){
  next if(not exists ${$hash{$file}}[0]);
  my $line=join("n",@{$hash{$file}});
  if(-e "/var/log/apache/$file"){
     open(OUT,">>/var/log/apache/$file");
     print OUT "$linen";
     close (OUT);     
     
  }else{
      $flag_new_log=1 if($flag_new_log==0);
     open(OUT,">>/var/apache_log/$file");
     print OUT "$linen";
     close (OUT);
  }
 }
 if($flag_new_log==1){
  system("cat /var/apache_log/$tmpfile>$access_log");
  system("rm -fr /var/apache_log/$tmpfile");
  system("mv /var/apache_log/* /var/log/apache/");
 }
 $localt = localtime();
 printlog("nFinished split apapche log at $localtnn");
}
#-----------------------------------
sub GetIp{
 my $ifc=`ifconfig`;
 my ($ip,$ip1,$ip2);
 if($ifc=~/eth0/){
  my $str=`ifconfig eth0` ;
  ($ip1)=$str=~/inet addr:(S+)/ ;
  $ip=$ip1;
 }
 if($ifc=~/eth1/){
  my $str=`ifconfig eth1` ;
  ($ip2)=$str=~/inet addr:(S+)/ ;
  if($ip1 && ($ip1 ne $ip2)){
   $ip="$ip1 $ip2" ;
  }else{
   $ip=$ip2;
  }
 }
 return $ip;
}
#--------------------------
sub printlog{
 my $str=shift;
 open(LOGOUT,">>/var/lib/SplitApacheLog.log");
 print LOGOUT "$str";
 close LOGOUT;
}