php读取操作大文件的方法详解

发布时间:2020-09-14编辑:脚本学堂
介绍下php读取与操作大文件的方法,通过一些具体的例子,为大家详细介绍与分析php中操作大文件的方法,供大家参考。

1、直接采用file函数来操作
注:由于 file函数是一次性将所有内容读入内存,而php为了防止一些写的比较糟糕的程序占用太多的内存而导致系统内存不足,使服务器出现宕机,所以默认情况下 限制只能最大使用内存16M,这是通过php.ini里的 memory_limit = 16M来进行设置,这个值如果设置-1,则内存使用量不受限制.

下面是一段用file来取出这具文件最后一行的代码.
 

复制代码 代码示例:
<?php
 ini_set('memory_limit','-1'); 
 $file = 'access.log'; 
 $data = file($file); 
 $line = $data[count($data)-1]; 
 echo $line; 
?>
 

整个代码执行完成耗时 116.9613 (s).
我机器是2个G的内存,当按下F5运行时,系统直接变灰,差不多20分钟后才恢复过来,可见将这么大的文件全部直接读入内存,因此memory_limit不能调得太高,以免出现灾难性的结果。

2、直接调用linuxtail命令来显示最后几行
linux命令行下,可以直接使用tail -n 10 access.log很轻易的显示日志文件最后几行,可以直接用php来调用tail命令。
 

复制代码 代码示例:
<?php
file = 'access.log'; 
 $file = escapeshellarg($file); // 对命令行参数进行安全转义 
 $line = `tail -n 1 $file`; 
 echo $line; //by www.jb200.com
?>
 

整个代码执行完成耗时 0.0034 (s)

3、直接使用php的fseek来进行文件操作
这是最为普遍的方式,它不需要将文件的内容全部读入内容,而是直接通过指针来操作,效率相当高。
在使用fseek来对文件进行操作时,方法有多种,效率上也略有差别,来看下面这二种方法。
方法一
首先,通过fseek找到文件的最后一位EOF,然后找最后一行的起始位置,取这一行的数据,再找次一行的起始位置, 再取这一行的位置,依次类推,直到找到了$num行。
 

复制代码 代码示例:
<?php
 $fp = fopen($file, "r"); 
 $line = 10; 
 $pos = -2; 
 $t = " "; 
 $data = ""; 
 while ($line > 0) { 
  while ($t != "n") { 
   fseek($fp, $pos, SEEK_END); 
   $t = fgetc($fp); 
   $pos --; 
  } 
  $t = " "; 
  $data .= fgets($fp); 
  $line --; 
 } 
 fclose ($fp); 
 echo $data 
?>
 

整个代码执行完成耗时 0.0095 (s)

方法二
还是采用fseek的方式从文件最后开始读,但这时不是一位一位的读,而是一块一块的读,每读一块数据时,就将读取后的数据放在一个buf里,然后通过换 行符(n)的个数来判断是否已经读完最后$num行数据.
 

复制代码 代码示例:
<?php
 $fp = fopen($file, "r"); 
 $num = 10; 
 $chunk = 4096; 
 $fs = sprintf("%u", filesize($file)); 
 $max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file); 
 for ($len = 0; $len < $max; $len += $chunk) {   
  $seekSize = ($max - $len &gt; $chunk) ? $chunk : $max - $len; 
  fseek($fp, ($len + $seekSize) * -1, SEEK_END); 
  $readData = fread($fp, $seekSize) . $readData; 
   
  if (substr_count($readData, "n") &gt;= $num + 1) { 
   preg_match("!(.*?n){".($num)."}$!", $readData, $match); 
   $data = $match[0]; 
   break
  } 
 } 
 fclose($fp); 
 echo $data; 
?>
 

整个代码执行完成耗时 0.0009(s).

方法三
 

复制代码 代码示例:
<?php
 function tail($fp,$n,$base=5) 
 { 
  assert($n>0); 
  $pos = $n+1; 
  $lines = array(); 
  while(count($lines)< =$n){ 
   try{ 
    fseek($fp,-$pos,SEEK_END); 
   } catch (Exception $e){ 
    fseek(0); 
    break; 
   } 
   $pos *= $base; 
   while(!feof($fp)){ 
    array_unshift($lines,fgets($fp)); 
   } 
  } 
  return array_slice($lines,0,$n); 
 } 
 var_dump(tail(fopen("access.log","r+"),10)); 
?>
 

整个代码执行完成耗时 0.0003(s)