使用一行命令合并多个Apache的日志文件

发布时间:2021-01-09编辑:脚本学堂
假如Apche的日志格式是这样的:%h %l %u %t \"%r\" %>s %b 例子:
111.222.111.222 - - [03/Apr/2002:10:30:17 +0800] "GET /index.html HTTP/1.1" 200 419

假如Apche的日志格式是这样的:
%h %l %u %t "%r" %>s %b
例子:
111.222.111.222 - - [03/Apr/2002:10:30:17 +0800] "GET /index.html HTTP/1.1" 200 419

最简单的想法是将日志一一读出来,然后按日志中的时间字段排序
cat log1 log2 log3 |sort -k 4 -t " "

注释:
-t " ": 日志字段分割符号是空格
-k 4: 按第4个字段排序,也就是:[03/Apr/2002:10:30:17 +0800] 这个字段
-o log_all: 输出到log_all这个文件中

这相当于先把几个日志文件的内容按自定列进行排序,然后在输出,显然这样的效率比较低。对于apache的日志,其实本身已经是一个“已经按照时间排好序“的文件了,而sort对于这种文件的排序合并提供了一个优化合并算法:使用 -m merge合并选项。因此:合并这样格式的3个日志文件log1 log2 log3并输出到log_all。
使用如下的命令即可:
sort -m log1 log2 -o log_all