正则sed/awk的用法

*sed可以实现一些grep的功能，但是稍微麻烦了一些，sed的强项在于删除文件中的内容和替换

sed实现grep检索功能：

1.根据关键字检索：

[root@localhost ~]# sed -n '/root/'p passwd.txt 

*使用sed检索时需要在关键字前加-n参数，关键字后加p，关键词还需要用 // 包括起来

2.关键字有特殊符号时加上 -r 参数或使用脱义符

[root@localhost ~]# sed -nr '/o+t/'p passwd.txt 

3.打印指定行：（打印指定行时直接写行号即可，不需要加//符号括起来）

[root@localhost ~]# sed -n '5'p passwd.txt [root@localhost ~]# sed -n '5,$'p passwd.txt   #打印第五行至最后一行

4.-e 参数：使用多个表达式：

[root@localhost ~]# sed -e '1'p -e '/root/'p -n passwd.txt 

*打印第一行内容并检索包含root的行，如果第一行同时包含root，那么第一行会被打印两次

5.不区分大小写：（加上大写的i）

[root@localhost ~]# sed -n '/testword/'Ip passwd.txt 

sed删除功能：

1.删除打印结果中指定的行：

[root@localhost ~]# wc -l passwd.txt 22 passwd.txt#查看文件行数[root@localhost ~]# sed '1,20'd passwd.txt chrony:x:998:996::/var/lib/chrony:/sbin/nologinlinux01:x:1000:1000::/home/linux01:/bin/bash#删除第1-20行，打印剩余的行[root@localhost ~]# wc -l passwd.txt 22 passwd.txt#该操作不会真实删除文件内容，只是删除打印结果

2.-i 参数：删除文件中指定的行（加上 -i参数后会真实删除文件内容）

[root@localhost ~]# wc -l passwd.txt 22 passwd.txt[root@localhost ~]# sed -i '1,20'd passwd.txt [root@localhost ~]# wc -l passwd.txt 2 passwd.txt

*用于在删除大日志文件内容时比较常用

sed替换功能：

1.根据关键字替换：

[root@localhost ~]# cat passwd.txt chrony:x:998:996::/var/lib/chrony:/sbin/nologinlinux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# sed 's/chrony/sed_test/g' passwd.txt sed_test:x:998:996::/var/lib/sed_test:/sbin/nologinlinux01:x:1000:1000::/home/linux01:/bin/bash

*格式： 's/ 被替换关键字 / 替换内容 /g'

2.特殊符号匹配时加 -r 参数：

[root@localhost ~]# cat passwd.txt nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinlinux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# sed -r 's/n+y/sed_test/g' passwd.txt sed_test:x:998:996::/var/lib/chronwy:/sbin/nologinlinux01:x:1000:1000::/home/linux01:/bin/bash

3.分段替换位置：

[root@localhost ~]# cat passwd.txt nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinlinux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# sed -r 's/([^:]+):(.*):([^:]+)/\3:\2:\1/g' passwd.txt /sbin/nologin:x:998:996::/var/lib/chronwy:nnnnny/bin/bash:x:1000:1000::/home/linux01:linux01

*使用冒号分割为3段，将第三段和第一段位置互换

4.配置关键词为目录路径时加上脱义符或使用其他替换符号：

[root@localhost ~]# cat passwd.txt nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinlinux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# sed 's/\/bin\/bash/AAAAAAA/g' passwd.txt nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinlinux01:x:1000:1000::/home/linux01:AAAAAAA[root@localhost ~]# sed 's#/bin/bash#AAAAAAA#g' passwd.txt nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinlinux01:x:1000:1000::/home/linux01:AAAAAAA

5.删除所有字母：

[root@localhost ~]# cat passwd.txt nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinlinux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# sed 's/[a-zA-Z]//g' passwd.txt ::998:996::///://01::1000:1000:://01://

6.在每行前添加内容：

[root@localhost ~]# cat passwd.txt nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinlinux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# sed -r 's/.*/sed_test:&/g' passwd.txt sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinsed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

*匹配每行所有内容：.*，&符号代表.*的内容

7.真实替换文件中的内容：-i 参数（以上6条示例都不会实际更改文件内容，只更改替换完成的打印输出结果）

[root@localhost ~]# cat passwd.txt nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinlinux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# sed -i 's/.*/sed_test:&/g' passwd.txt [root@localhost ~]# cat passwd.txt sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinsed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

补充：
把每个单词的第一个小写字母变大写：
sed 's/\b[a-z]/\u&/g' filename

把所有小写变大写：
sed 's/[a-z]/\u&/g' filename

大写变小写：
sed 's/[A-Z]/\l&/g' filename

sed在某一行最后添加一个数字
sed -r 's/(^a.*)/\1 12/' test
sed -r 's/^a.*/& 12/' test

打印1到100行含某个字符串的行
sed -n '1,100{/abc/p}' 1.txt

*awk相比grep/egrep/sed的功能更加强大，默认支持拓展正则表达式，grep需要加 -E 参数，sed需要加 -r 参数

1.分割文件内容打印指定段数：

[root@localhost ~]# cat test.txt zhangsan 100lisi     92wangwu   95user1    88user2    93[root@localhost ~]# awk '{print $1}' test.txt zhangsanlisiwangwuuser1user2

*默认以空格为分隔符，$指定打印的段数

2.-F参数：指定分隔符：

[root@localhost ~]# cat passwd.txt AAAA:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinAAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# awk -F ':' '{print $3}' passwd.txt nnnnnylinux01#打印多段时用逗号区分[root@localhost ~]# awk -F ':' '{print $1,$3}' passwd.txt AAAA nnnnnyAAAA linux01#指定打印结果中段与段的分割符号[root@localhost ~]# awk -F ':' '{print $1"-->"$3}' passwd.txt AAAA-->nnnnnyAAAA-->linux01

*awk {print $0}表示打印所有，相当于cat

3.awk检索：（相当于grep）

[root@localhost ~]# cat passwd.txt AAAA:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinAAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# awk '/nnn/' passwd.txt AAAA:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin

4.检索指定段中包含关键字的行：

[root@localhost ~]# cat passwd.txt ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinAAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# awk -F ':' '$1 ~/AAA/' passwd.txt AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

5.多个表达式组合使用：

[root@localhost ~]# cat passwd.txt ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinAAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# awk -F ':' '/linux/ {print $1,$3} /nnn/ {print $2,$3}' passwd.txt sed_test nnnnnyAAAA linux01

*打印包含linux关键字的行的第1和第3段，打印包含nnn关键字的第2和第3段

6.检索多个关键词的行并指定打印段：

[root@localhost ~]# cat passwd.txt ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinAAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# awk -F ':' '/linux|nnn/ {print $1}'  passwd.txt ABCDAAAA

7.通过运算符号检索：

[root@localhost ~]# cat passwd.txt ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinAAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# awk -F ':' '$5==1000' passwd.txt AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# awk -F ':' '$5==1000 {print $1}' passwd.txt AAAA

8.针对数字判断时，不加双引号，否则判断条件会被当做字符串而不是数字（数字当做字符串判断时，根据ASCII码判断，998大于1000）：

[root@localhost ~]# cat passwd.txt ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinAAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# awk -F ':' '$5<1000' passwd.txt ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin#加上双引号后1000被当做了字符串，而不是数字[root@localhost ~]# awk -F ':' '$5<"1000"' passwd.txt [root@localhost ~]# 

9.字符串判断：（判断字符串时判断条件加上双引号）

[root@localhost ~]# cat passwd.txt ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinAAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# awk -F ':' '$9!="/sbin/nologin"' passwd.txt AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

10.两个字段之间比较和多个条件检索：

[root@localhost ~]# cat passwd.txt ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinAAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# awk -F ':' '$5>$6' passwd.txt  ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin[root@localhost ~]# awk -F ':' '$5>$6 {print $5,$6}' passwd.txt  998 996[root@localhost ~]# awk -F ':' '$5>999' passwd.txt  AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# awk -F ':' '$5>900 && $6<999' passwd.txt  ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin[root@localhost ~]# awk -F ':' '$5>999 || $9=="/sbin/nologin"' passwd.txt  ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinAAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

*最后一种字符串判断除了用==符号还可以用~检索

11.OFS：指定打印结果分隔符：

[root@localhost ~]# cat passwd.txt ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinAAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# awk -F ':' '{OFS="***"} {print $1,$2,$3}' passwd.txt  ABCD***sed_test***nnnnnyAAAA***sed_test***linux01[root@localhost ~]# awk -F ':' '{OFS="***"} $5<1000 {print $1,$2,$3}' passwd.txt  ABCD***sed_test***nnnnny

12.NR：在每行前面显示行数：

[root@localhost ~]# cat passwd.txt ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinAAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# awk -F ':' '{print NR":" $0}' passwd.txt 1:ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin2:AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

13.NF：在每行前面显示段数：

[root@localhost ~]# awk -F ':' '{print NF":" $0}' passwd.txt 9:ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin9:AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

14.根据行数或者段数显示指定的行：
1）显示行号小于2的行：

[root@localhost ~]# awk -F ':' '{print NR":" $0}' passwd.txt 1:ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin2:AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# awk 'NR<2' passwd.txt ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin

2）显示前10行并且第一段为AAAA的行：

[root@localhost ~]# awk -F ':' 'NR<10 && $1 ~/AAAA/' passwd.txt AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

15.=和==的区别：（==是匹配相等的数字或字符串，=是赋值）

[root@localhost ~]# cat passwd.txt ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinAAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# awk -F ":" '$1=="ABCD"' passwd.txt ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin[root@localhost ~]# awk -F ":" '$1="hello"' passwd.txt hello sed_test nnnnny x 998 996  /var/lib/chronwy /sbin/nologinhello sed_test linux01 x 1000 1000  /home/linux01 /bin/bash

16.求和：

[root@localhost ~]# cat passwd.txt ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologinAAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash[root@localhost ~]# awk -F ':' '{(tot=tot+$5)}; END {print tot}' passwd.txt 1998

补充：

. 表示任意1个字符

* a b o 前面的这个字符有0或者多个
abc* ===> ab、abccc

.* 贪婪匹配

? 扩展正则 表示：?前面的字符有0个或1个
a1？ ==> a or a1

+ 扩展正则 表示：+前面的字符有1个或多个

| 扩展正则 表示：或者
egrep 'abc|123' 1.txt

[ ] 表示方括号里面的1个字符
[a-zA-Z0-9] 表示所有大小写字母和数字
[abc] 表示a或b或c
[a|@] 表示a或|或@
[^] 表示非，取反

^ 表示开头

$ 表示结尾

{ } 表示范围
a{1,5} ===> a或aa或aaa或aaaa或aaaaa
b{3} ===> bbb

( ) 小括号里面的字符看成一个整体
(abc){2} ==》 abcabc
(abc)+ ==>abc或abcabc或abc*n
abc{2} ==> abcc

扩展正则符号： ? + | { } 使用时grep -E 、sed -r