核心:文本过滤
查看/过滤文件
与sed一样,逐行处理
awk :过滤数据时支持仅打印某一列;若有多条编辑指令,可用分号分隔。
【print 是最常用的编辑指令】
格式:
awk [选项] '[条件] {指令}' 文件
例:
实验文本:
[root@server0 ~]# cat tmp.txt
hello wolrd
ni hao
wo shi
查看文本第一列:
[root@server0 ~]# awk '{print $1}' tmp.txt
hello
ni
wo
查看多列:
[root@server0 ~]# awk '{print $1,$2}' tmp.txt
hello wolrd
ni hao
wo shi
实用:【可管道给其他命令】
查看可用容量:
[root@server0 ~]# df -h | awk '{print $4}'
可用
7.1G
906M
921M
904M
921M
二)选项的使用:
-F :可指定分隔符
-F[:/] :可识别多种单个字符【可指定】
例:【-F】
查看/etc/passswd的第一列【以冒号为分隔符】
[root@server0 ~]# awk -F: '{print $1}' /etc/passwd
root
bin
daemon
adm
lp
...
【-F[:/]】
[root@server0 ~]# awk -F[:/] '{print $1,$7}' /etc/passwd
root root
bin bin
daemon sbin
adm var
lp var
sync sbin
shutdown sbin
...
三)可与变量和常量结合使用
常见变量:
NR 文件当前行的行号
NF 文件当前行的列数(有几列)
例:
【NR】
[root@server0 ~]# awk -F: '{print NR}' tmp.txt
1
2
3
【NF】
[root@server0 ~]# awk -F: '{print NF}' tmp.txt
1
1
1
常量的使用【需加双引号】
例:
[root@server0 ~]# awk -F: '{print $1,"的解释器为",$7}' /etc/passwd
root 的解释器为 /bin/bash
bin 的解释器为 /sbin/nologin
daemon 的解释器为 /sbin/nologin
adm 的解释器为 /sbin/nologin
...
四)与正则的使用:
[root@server0 ~]# cat tmp.txt
hello wolrd
ni hao
wo shi
【查看包含ni的行的第2列】
[root@server0 ~]# awk /ni/'{print $2}' tmp.txt
hao
【查看远程登陆失败的ip】
[root@server0 ~]# awk /Failed/'{print $11}' /var/log/secure
172.25.0.10
172.25.0.10
五)awk处理时机
awk [选项] 'BEGIN{指令} {指令}END{指令}' 文件
BEGIN{ } 行前处理,读取文件内容前执行,指令执行1次
{ } 逐行处理,读取文件过程中执行,指令执行n次
END{ } 行后处理,读取文件结束后执行,指令执行1次
【先为x赋值为0,然后进行++最后输出x】
[root@desktop0 ~]# awk 'BEGIN{x=0} /bash$/{x++}END{print x}' /etc/passwd
2
[root@desktop0 ~]# awk '/bash$/{x++}END{print x}' /etc/passwd 【默认0开始】
4
column -t 【自动对齐】
/正则/ 在一整行里匹配
$n~/正则/ $1~/正则/ $2~/正则/ 【第一列包括和第二列包括。。。】
$n!~/正则/ 取反
[root@desktop0 ~]# awk -F: '$7!~/nologin$/' /etc/passwd
2.字符和数字的比较
== != > >= < <= 【精准匹配】
【打印出第1行的第一列】
awk -F: 'NR==1{print $1}' /etc/passwd
【打印UID大于等于1000的第1和第3列】
[root@desktop0 ~]# awk -F: '$3>=1000{print $1,$3}' /etc/passwd
nfsnobody 65534
student 1000
jiajia 1001
【精确查找第一列是root的行】
[root@desktop0 ~]# awk -F: '$1=="root"' /etc/passwd
root:x:0:0:root:/root:/bin/bash
【300中能被3整除的数】
[root@desktop0 ~]# seq 300 | awk '$3%==0'
【300中能被3整除并包含3的数】
[root@desktop0 ~]# seq 300 | awk '$1%3==0&&$1~/3/'
3.逻辑测试条件:
&& 和 ||
【打印UID大于10小于20的行】
[root@desktop0 ~]# awk -F: '$3>10&&$3<20' /etc/passwd
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
【打印UID等于10的行若没有则打印UID等于1000的行】
[root@desktop0 ~]# awk -F: '$3==10||$3==1000' /etc/passwd
student:x:1000:1000:Student User:/home/student:/bin/bash
4.单双分支
awk [选项] '[条件]{指令}' 文件
if语句
if(判断){指令}
if(判断){指令}else{指令}
单分支
[root@desktop0 ~]# awk -F: '{if($3>1000){x++}} END{print x}' /etc/passwd
双分支
[root@desktop0 ~]# awk -F: '{if($3>1000){x++}else{y++}} END{print x,y}' /etc/passwd
3 38
[root@desktop0 ~]# x=(11 22 33)
[root@desktop0 ~]# y[0]=11
[root@desktop0 ~]# y[1]=22
[root@desktop0 ~]# y[2]=33
[root@desktop0 ~]# echo ${x}
11
[root@desktop0 ~]# echo ${x[1]}
22
[root@desktop0 ~]# echo ${y}
11
awk 数组:
[root@desktop0 ~]# awk 'BEGIN{x[0]=11;x[2]=22;print x[2],x[0]}'
22 11
【当数组多时,利用for循环读出】
[root@desktop0 ~]# awk 'BEGIN{x[0]=12;x[1]=35;x[2]=45;x[3]=456;for(i in x){print x[i]}}'
12
35
45
456
扩展:常见的低成本攻击
【DOS攻击 deny of service】
ab -c 100 -n 100000 http://172.25.0.10/
模拟有100人上网,访问网站10w次
[root@desktop0 ~]# awk '{a[$1]++}END{for(i in a){print a[i],i}}' /var/log/httpd/access_log | sort -n
10 ::1
26141 172.25.0.250
sort -n 排序
查看/过滤文件
与sed一样,逐行处理
awk :过滤数据时支持仅打印某一列;若有多条编辑指令,可用分号分隔。
【print 是最常用的编辑指令】
格式:
awk [选项] '[条件] {指令}' 文件
例:
实验文本:
[root@server0 ~]# cat tmp.txt
hello wolrd
ni hao
wo shi
查看文本第一列:
[root@server0 ~]# awk '{print $1}' tmp.txt
hello
ni
wo
查看多列:
[root@server0 ~]# awk '{print $1,$2}' tmp.txt
hello wolrd
ni hao
wo shi
实用:【可管道给其他命令】
查看可用容量:
[root@server0 ~]# df -h | awk '{print $4}'
可用
7.1G
906M
921M
904M
921M
二)选项的使用:
-F :可指定分隔符
-F[:/] :可识别多种单个字符【可指定】
例:【-F】
查看/etc/passswd的第一列【以冒号为分隔符】
[root@server0 ~]# awk -F: '{print $1}' /etc/passwd
root
bin
daemon
adm
lp
...
【-F[:/]】
[root@server0 ~]# awk -F[:/] '{print $1,$7}' /etc/passwd
root root
bin bin
daemon sbin
adm var
lp var
sync sbin
shutdown sbin
...
三)可与变量和常量结合使用
常见变量:
NR 文件当前行的行号
NF 文件当前行的列数(有几列)
例:
【NR】
[root@server0 ~]# awk -F: '{print NR}' tmp.txt
1
2
3
【NF】
[root@server0 ~]# awk -F: '{print NF}' tmp.txt
1
1
1
常量的使用【需加双引号】
例:
[root@server0 ~]# awk -F: '{print $1,"的解释器为",$7}' /etc/passwd
root 的解释器为 /bin/bash
bin 的解释器为 /sbin/nologin
daemon 的解释器为 /sbin/nologin
adm 的解释器为 /sbin/nologin
...
四)与正则的使用:
[root@server0 ~]# cat tmp.txt
hello wolrd
ni hao
wo shi
【查看包含ni的行的第2列】
[root@server0 ~]# awk /ni/'{print $2}' tmp.txt
hao
【查看远程登陆失败的ip】
[root@server0 ~]# awk /Failed/'{print $11}' /var/log/secure
172.25.0.10
172.25.0.10
五)awk处理时机
格式:
BEGIN{ } 行前处理,读取文件内容前执行,指令执行1次
{ } 逐行处理,读取文件过程中执行,指令执行n次
END{ } 行后处理,读取文件结束后执行,指令执行1次
【先为x赋值为0,然后进行++最后输出x】
[root@desktop0 ~]# awk 'BEGIN{x=0} /bash$/{x++}END{print x}' /etc/passwd
2
[root@desktop0 ~]# awk '/bash$/{x++}END{print x}' /etc/passwd 【默认0开始】
4
【按顺序列出用户名,uid,家目录,总和】
[root@desktop0 ~]# awk -F: 'BEGIN{print "yong" "UID" "jia" "zong" } {print $1,$3,$6}END{print "zong"NR }' /etc/passwd |column -tcolumn -t 【自动对齐】
六)awk处理条件
1.使用正则设置条件 【模糊匹配】/正则/ 在一整行里匹配
$n~/正则/ $1~/正则/ $2~/正则/ 【第一列包括和第二列包括。。。】
$n!~/正则/ 取反
[root@desktop0 ~]# awk -F: '$7!~/nologin$/' /etc/passwd
2.字符和数字的比较
== != > >= < <= 【精准匹配】
【打印出第1行的第一列】
awk -F: 'NR==1{print $1}' /etc/passwd
【打印UID大于等于1000的第1和第3列】
[root@desktop0 ~]# awk -F: '$3>=1000{print $1,$3}' /etc/passwd
nfsnobody 65534
student 1000
jiajia 1001
【精确查找第一列是root的行】
[root@desktop0 ~]# awk -F: '$1=="root"' /etc/passwd
root:x:0:0:root:/root:/bin/bash
【300中能被3整除的数】
[root@desktop0 ~]# seq 300 | awk '$3%==0'
【300中能被3整除并包含3的数】
[root@desktop0 ~]# seq 300 | awk '$1%3==0&&$1~/3/'
3.逻辑测试条件:
&& 和 ||
【打印UID大于10小于20的行】
[root@desktop0 ~]# awk -F: '$3>10&&$3<20' /etc/passwd
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
【打印UID等于10的行若没有则打印UID等于1000的行】
[root@desktop0 ~]# awk -F: '$3==10||$3==1000' /etc/passwd
student:x:1000:1000:Student User:/home/student:/bin/bash
4.单双分支
awk [选项] '[条件]{指令}' 文件
if语句
if(判断){指令}
if(判断){指令}else{指令}
单分支
[root@desktop0 ~]# awk -F: '{if($3>1000){x++}} END{print x}' /etc/passwd
双分支
[root@desktop0 ~]# awk -F: '{if($3>1000){x++}else{y++}} END{print x,y}' /etc/passwd
3 38
[root@desktop0 ~]# x=(11 22 33)
[root@desktop0 ~]# y[0]=11
[root@desktop0 ~]# y[1]=22
[root@desktop0 ~]# y[2]=33
[root@desktop0 ~]# echo ${x}
11
[root@desktop0 ~]# echo ${x[1]}
22
[root@desktop0 ~]# echo ${y}
11
awk 数组:
[root@desktop0 ~]# awk 'BEGIN{x[0]=11;x[2]=22;print x[2],x[0]}'
22 11
【当数组多时,利用for循环读出】
[root@desktop0 ~]# awk 'BEGIN{x[0]=12;x[1]=35;x[2]=45;x[3]=456;for(i in x){print x[i]}}'
12
35
45
456
扩展:常见的低成本攻击
【DOS攻击 deny of service】
ab -c 100 -n 100000 http://172.25.0.10/
模拟有100人上网,访问网站10w次
应对方法:
【查看异常:列出IP的访问次数】[root@desktop0 ~]# awk '{a[$1]++}END{for(i in a){print a[i],i}}' /var/log/httpd/access_log | sort -n
10 ::1
26141 172.25.0.250
sort -n 排序