正则表达式/sed/awk命令用法教程

发布时间:2020-01-30编辑:脚本学堂
有关linux 正则表达式以及sed命令、awk命令的实例教程,正则表达式元字符、Postfix方括号字符集、sed命令与awk命令的用法详解,需要的朋友参考下。

正则表达式元字符:
 

^
  #锚定行的开始。如:/^sed/ 匹配所有以sed开头的行。
$
  #锚定行的结束。如:/sed$/ 匹配所有以sed结尾的行。
.
  #匹配一个非换行字符。 如:/s..d/ 匹配s后接任意两个个字符,最后是d。
*
  #匹配零个或多个字符。 如:/*sed/ 匹配所有模板是一个或多个空格后紧跟sed的行。
[]
  #匹配一个指定范围内的字符。 如/[Ss]ed/ 匹配Sed和sed。
[x-y]
  #匹配指定范围内的一个字符。 如 /[a-z]ed/ 匹配一个a-z之间任意字符后跟ed的行。
[^]
  #匹配一个不在指定范围内的字符,如:/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头,紧跟ed的行。

  #用来转义字符。 如: /sed./匹配包含sed后面跟一个句点. (未经转义的句点通常匹配单个字符)
<
  #词首定位符。 如:/<love/匹配包含以love开头的单词的行。
>
  #词尾定位符。 如/love>/匹配包含以love结尾的单词的行。
(..)
  #匹配稍后将要使用的字符的标签。 如s/(love)able/1rs,loveable被替换成lovers。
  #最多可以使用9个标签,模式中最左边的标签是第1个。用1表示。
x{m}
  #重复字符x,m次,如:/0{5}/匹配包含5个o的行。
x{m,}
  #重复字符x,至少m次,如:/o{5,}/匹配至少有5个o的行。
x{m,n}
  #重复字符x,至少m次,不多于n次,如:/o{5,10}/匹配5--10个o的行。
&
#保存搜索字符用来替换其他字符,如s/love/**&**/,love这成**love**。

Postfix方括号字符集:
 

[:alnum:]  #数字字符
[:lower:]  #小写字母字符
[:alpha:]  #字母字符
[:print:]  #可显示的字符
[:blank:]  #空格(space)与定位符(tab)字符
[:punct:]  #标点符号字符
[:cntrl:]  #控制字符    
[:space:]  #空白(whitespace)字符
[:digit:]  #数字字符    
[:upper:]  #大写字母字符
[:graph:]  #非空格字符   
[:xdigit]  #十六进制数字

Sed学习:
1、sed选项:
 

-e command, --expression=command  #允许多项编辑。
-f, --filer=script-file  #指定sed脚本文件名。
-n, --quiet, --silent  #取消默认的输出。
-V, --version #打印版本和版权信息。
-h --help   #打印帮助。

2.sed命令:
 

a  #在当前行后添加一行或多行
c  #用新文本修改(替换)当前行中的文本
d   #删除行
i  #在当前行之前插入文本
h   #把模式空间里面的内容复制到暂缓冲区
H   #把模式空间里面的内容追加到暂缓冲区
g   #取出暂存缓冲区的内容,将其复制到模式空间,覆盖该处原有内容。
G   #取出暂存缓冲区的内容,将其复制到模式空间,追加在原有内容后面。
l   #列出非打印字符。
p   #打印行。
n   #读入下一输入行,并从下一条命令而不是第一条命令开始对其的处理。
q   #结束或退出sed。
r   #从文件中读取输入行。
!   #对所选行以外的所有行应用命令。
s   #用一个字符串替换另一个。

3.sed替换标志:
 

g   #在行内进行全局替换。
p   #打印行。
w   #将行写入文件。
x   #交换暂存缓冲区与模式空间的内容。
y   #将字符转换为另一字符(不能对正则表达式使用y命令)

sed示例:
 

[root@localhost mnt]# cat example.txt
one line text
two line text
three line text
four line text
five line text
end line !!!

删除:d命令:
1、#删除文件中的第二行
 

[root@localhost mnt]# sed '2d' example.txt
one line text
three line text
four line text
five line text
end line !!!

2、#删除文件中的最后一行
 

[root@localhost mnt]# sed '$d' example.txt
one line text
two line text
three line text
four line text
five line text

3、#删除第三行到末尾所有行
 

[root@localhost mnt]# sed '3,$d' example.txt
one line text
two line text

4、#删除文件中包含text的行
 

[root@localhost mnt]# sed '/text/'d example.txt
end line !!!

替换:s命令:
1、#在整行范围内把e替换为E。如果没有g标记,则每行只匹配第一个e。
 

[root@localhost mnt]# sed 's/e/E/g' example.txt
onE linE tExt
two linE tExt
thrEE linE tExt
four linE tExt
fivE linE tExt
End linE !!!

2、#(-n)选项和p标志一起使用表示只打印那些发生替换的行。
 

[root@localhost mnt]# sed -n 's/d/D/p' example.txt
enD line !!!

3、#&符号表示替换换字符串中被找到的部份。
 

[root@localhost mnt]# sed -n 's/^end/&for/p' example.txt
endfor line !!!   #这里&替换成为end

4、#on标记为1,所有的one都会被替换为oncoming!
 

[root@localhost mnt]# sed -n 's/(on)e/1coming/p' example.txt
oncoming line text

5、#不论什么字符,紧跟着s命令的都被认为是新的分隔符,所以这里的#是分隔符;
 

[root@localhost mnt]# sed -n 's#one#Haha#p' example.txt
Haha line text

选定行的范围:逗号
1、#所有在模板th和f所确定的范围内的行都被打印。
 

[root@localhost mnt]# sed -n '/th/,/f/p' example.txt
three line text
four line text

2、#打印从第二行到第一个包含以four开始的行之间的所有行。
 

[root@localhost mnt]# sed -n '2,/^four/p' example.txt
two line text
three line text
four line text

3、#对于模板one和three之间的行,每行的行首添加字符串Ceshi。
 

[root@localhost mnt]# sed '/one/,/three/s/^/Ceshi/' example.txt
Ceshione line text
Ceshitwo line text
Ceshithree line text
four line text
five line text
end line !!!

多点编辑:e命令
1、#(e)选项允许在同一行里执行多条命令。
 

[root@localhost mnt]# sed -e '1,3d' -e 's/five/FFFF/' example.txt
four line text
FFFF line text
end line !!!

2、#一个比-e更好的命令是--expression。它能给sed表达式赋值。
 

[root@localhost mnt]# sed --expression='s/one/ONE/' --expression='/h/d' example.txt
ONE line text
two line text
four line text
five line text
end line !!!

从文件读入:r命令
1、#hosts文件内容被读进来,显示在与one匹配的行后面。
 

#如果匹配了多行,那么hosts内容将显示在所有的匹配行下面。
[root@localhost mnt]# sed '/one/r /etc/hosts' example.txt
one line text
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
two line text
three line text
four line text
five line text
end line !!!

写入文件:w命令
1、#example中所有包含f的行都被写入到write.txt中。
 

[root@localhost mnt]# sed -n '/f/w write.txt' example.txt
[root@localhost mnt]# cat write.txt
four line text
five line text

追加命令:a命令
1、#“----->this is a test”被追加到匹配three的行后面,sed要求命令a后面有一个反斜杠。
 

[root@localhost mnt]# sed '/three/a----->this is a test' example.txt
one line text
two line text
three line text
----->this is a test
four line text
five line text
end line !!!

插入:i命令
1、#“----->this is a new line”被插入到匹配three的行前面,sed要求命令i后面有一个反斜杠。
 

[root@localhost mnt]# sed '/three/i----->this is a new line' example.txt
one line text
two line text
----->this is a new line
three line text
four line text
five line text
end line !!!

下一个:n命令
1、#如果three被匹配,则移动到匹配行的下一行,替换这一行的line为LINE,并打印且继续。
 

[root@localhost mnt]# sed '/three/{n; s/line/LINE/; }' example.txt
one line text
two line text
three line text
four LINE text
five line text
end line !!!

变形:y命令
1、#把1-3行内所有匹配line任意字母的字符转变为大写。注意:正则表达式元字符不能使用这个命令。
 

[root@localhost mnt]# sed '1,3y/line/LINE/' example.txt
oNE LINE tExt
two LINE tExt
thrEE LINE tExt
four line text
five line text
end line !!!

退出:q命令
1、#打印第三行后退出sed。
 

[root@localhost mnt]# sed '3q' example.txt
one line text
two line text
three line text

保持和获取:h命令和G命令
1、#在sed处理文件的时候,每一行都被保存在一个叫模式空间的临时缓冲区中,
 

#除非行被删除或者输出被取消,否则所有被处理的行都将打印在屏幕上。
#接着模式空间被清空,并存入新的一行等待处理。
#这里,匹配two的行存入模式空间,h命令将其复制并存入一个称为保持缓存区的特殊缓冲区内。
#第二条语句是当达到最后一行后,G命令取出保持缓冲区的行。
[root@localhost mnt]# sed -e '/two/h' -e '$G' example.txt
one line text
two line text
three line text
four line text
five line text
end line !!!
two line text

保持和互换:h命令和x命令
1、#互换模式空间和保持缓冲区的内容。由结果可以得出匹配three的行将被two替换。
 

[root@localhost mnt]# sed -e '/two/h' -e '/three/x' example.txt
one line text
two line text
two line text
four line text
five line text
end line !!!

linuxjishu/13830.html target=_blank class=infotextkey>awk命令的使用方法:
 

awk '{pattern + action}' {filenames}

AWK内置变量:
 

ARGC       #命令行参数个数
ARGV       #命令行参数排列
ENVIRON    #支持队列中系统环境变量的使用
FILENAME   #awk浏览的文件名
FNR        #浏览文件的记录数
FS         #设置输入域分隔符,等价于命令行 -F选项
NF         #浏览记录的域的个数
NR         #已经读出的记录数,就是行号,从1开始,如果有多个文件话,这个值也是不断累加中。
OFS        #输出字段分隔符, 默认也是空格
ORS        #输出的记录分隔符,默认为换行符
RS         #输入的记录分隔符, 默认为换行符

此外,$0变量是指整条记录。
$1表示当前行的第一个域,$2表示当前行的第二个域,......以此类推