导学
grep和egrep：文本过滤的
sed：流编辑器，实现编辑的
awk：文本报告生成器，实现格式化文本输出
AWK介绍
-
AWK是一种优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一。这种编程及数据操作语言的最大功能取决于一个人所拥有的知识。
-
awk命名:Alfred Aho Peter 、Weinberger和brian kernighan三个人的姓的缩写。
-
awk---->gawk 即： gun awk
-
在linux上常用的是gawk,awk是gawk的链接文件
-
man gawk----》pattern scanning and processing language 模式扫描和处理语言。
-
pattern [ˈpætn] 模式 ； process [ˈprəʊses] 处理
-
任何awk语句都是由模式和动作组成，一个awk脚本可以有多个语句。模式决定动作语句的触发条件和触发时间。
-
模式：
正则表达式 : /root/ 匹配含有root的行 /*.root/
关系表达式： < > && || + *
匹配表达式： ~ ！~ -
动作：
变量 命令 内置函数 流控制语句
它的语法结构如下：
awk [options] ‘BEGIN{ print “start” } ‘pattern{ commands }’ END{ print “end” }’ file
其中：BEGIN END是AWK的关键字部，因此必须大写；这两个部分开始块和结束块是可选的
- 特殊模块：
BEGIN语句设置计数和打印头部信息，在任何动作之前进行
END语句输出统计结果，在完成动作之后执行
工作原理：
通过上面我们可以知道;AWK它工作通过三个步骤
-
读：从文件、管道或标准输入中读入一行然后把它存放到内存中
-
执行：对每一行数据，根据AWK命令按顺序执行。默认情况是处理每一行数据，也可以指定模式
-
重复：一直重复上述两个过程直到文件结束
-
AWK支持两种不同类型的变量：内建变量，自定义变量
awk内置变量（预定义变量）
$n 当前记录的第n个字段，比如: $1表示第一个字段，$2表示第二个字段
$0 这个变量包含执行过程中当前行的文本内容
FILENAME 当前输入文件的名
FS 字段分隔符（默认是空格）
NF 表示字段数，在执行过程中对应于当前的字段数，NF：列的个数
FNR 各文件分别计数的行号
NR 表示记录数，在执行过程中对应于当前的行号
OFS 输出字段分隔符（默认值是一个空格）
ORS 输出记录分隔符（默认值是一个换行符）
RS 记录分隔符（默认是一个换行符）
实例演示
- 常用的命令选项：
-F fs指定分隔符
-v 赋值一个用户自定义变量
-f 指定脚本文件,从脚本中读取awk命令
（1）分隔符的使用
用法：-Ffs 其中fs是指定输入分隔符，fs可以是字符串或正则表达式;分隔符默认是空格
常见写法：-F: -F, -F[Aa]
例1：
[root@localhost ~]# echo AA BB CC DD
AA BB CC DD
[root@localhost ~]# echo AA BB CC DD |awk '{print $2}'
BB
[root@localhost ~]# echo AA BB CC DD |awk -F " " '{print $2}' #以空格
BB
[root@localhost ~]# echo "aa|bb|cc|dd"
[root@localhost ~]# echo "aa|bb|cc|dd" | awk -F "|" '{print $3}' #以 “|”
cc
[root@localhost ~]#
[root@localhost ~]# echo "aa,bb,cc,dd"
aa,bb,cc,dd
[root@localhost ~]# echo "aa,bb,cc,dd"|awk -F "," '{print $4}' #以“，号结尾
dd
[root@localhost ~]#
[root@localhost ~]# echo "12AxAbADXaAD520"|awk -F "aA" '{print $2}' # 以“aA"为分隔符
D520
[root@localhost ~]#
- 例2：指定多个分隔符
[root@localhost ~]# echo "12AxAbADXaAD520"|awk -F "aA" '{print $2}'
D520
[root@localhost ~]#
- 例3：使用FS指定分隔符
[root@localhost ~]# echo "12AxAbADXaAD520"|awk 'BEGIN {FS="aA"} {print $2}'
D520
[root@localhost ~]#
- 例4：过滤出本系统的IP地址
[root@localhost ~]# ifconfig ens33 |grep netmask
inet 192.168.170.16 netmask 255.255.255.0 broadcast 192.168.170.255
[root@localhost ~]# ifconfig ens33 |grep netmask|awk '{print $2}'
192.168.170.16
[root@localhost ~]#
（2）关系运算符的使用
[root@localhost ~]# echo "one two three four" |awk '{print $NF}'
four
[root@localhost ~]# echo "one two three four" |awk '{print $(NF-2)}'
two
[root@localhost ~]# echo "one two three four" |awk '{print $(NF/2-1)}'
one
[root@localhost ~]#
-例2：打印出passwd文件中用户UID小于10的用户名和它登录使用的shell
参数： $NF 最后一列
[root@localhost ~]# awk -F: '$3<10{print $1 $NF}' /etc/passwd
root/bin/bash
bin/sbin/nologin
daemon/sbin/nologin
adm/sbin/nologin
lp/sbin/nologin
sync/bin/sync
shutdown/sbin/shutdown
halt/sbin/halt
mail/sbin/nologin
[root@localhost ~]#
- 例2：打印出系统中UID大于1000且登录shell是/bin/bash的用户
[root@localhost ~]# awk -F: '$3>=1000 && $NF=="/bin/bash" {print $1"\t" $NF}' /etc/passwdXF /bin/bash
[root@localhost ~]#
注：awk 最外面使用了单引号’’ ,里面都使用双引号“”
（3）在脚本中的一些应用
例：统计当前内存的使用率
[root@localhost ~]#
[root@localhost ~]# cat user_cache.sh
#!/bin/bash
echo "当前系统内存使用百分比为："
USEFREE=`free -m | grep -i mem | awk '{print $3/$2*100"%"}'`
echo -e "内存使用百分比： \e[31m${USEFREE}\e[0m"
[root@localhost ~]# bash user_cache.sh
awk高级应用
- 命令格式：
- awk [-F | -f | -v ] ‘BEGIN {} / / {command1;command2} END {}’file
-F 指定分隔符
-f 调用脚本
-v 定义变量
‘{}’ 引用代码块
{…} 命令代码块，包含一条或多条命令
BEGIN 初始化代码块
/ str / 匹配代码块，可以是字符串或正则表达式
{print A；print B} 多条命令使用分号分隔
END 结尾代码块
在awk中，pattern有以下几种：
1） empty空模式，这个也是我们常用的
2） /regular expression/ 仅处理能够被这个模式匹配到的行
例:打印以root开头的行
[root@localhost ~]# awk -F: '/^root/{print $0}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
[root@localhost ~]#
例1：输出行号大于等于3且行号小于等于6的行
[root@localhost ~]# awk -F: '(NR>=3 && NR<=6) {print NR,$0}' /etc/passwd
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
[root@localhost ~]#
内置变量的特殊用法：
$0 表示整个当前行
NF 字段数量 NF(Number 数量 ; field 字段)
NR 每行的记录号，多文件记录递增 Record [ˈrekɔ:d]
\t 制表符
\n 换行符
~ 匹配
!~ 不匹配
-F’[:#/]+’ 定义三个分隔符
实战脚本
- 检查服务器是否受到DDOS攻击脚本
思路：通过：netstat 查看网络连接数。如果一个IP地址对服务器建立很多连接数（比如一分钟产生了100个连接），就认为发生了DDOS
搭建环境：
[root@localhost ~]# yum install httpd -y #安装apache
[root@localhost ~]# systemctl start httpd #启动服务
[root@localhost ~]# echo "wyh> /var/www/html/index.html #创建apache默认网站首页
[root@localhost ~]# vim ddos-test.sh #写入以下内容
#!/bin/bash
netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n
注释：
netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n
截取外网IP和端口 截取外网的IP以：为分隔符 ｜排序 ｜ 排除相同的记录 ｜ 排序并统计
- 测试，模拟DDOS
ab命令：做压力测试的工具和性能的监控工具
语法： ab -n 要产生的链接数总和 -c 同时打开的客户端数量 http：//链接
安装ab命令：
[root@localhost ~]#rpm -qf `which ab ` #这个安装apache时，会自动安装上
httpd-tools-2.2.15-15.el6.x86_64
模拟DDOS： 启动10个客户端对网站首页发起1000次访问
[root@localhost ~]# ab -n 1000 -c 10 http://192.168.1.63/index.html
互动： 如果你要对方发生DDOS攻击，你会攻击什么样的页面？
访问一个页面比较大，页面越大，消耗服务器带宽就越大，攻击效果越明显
[root@localhost ~]# ./ddos-test.sh #检查DDOS
1 Address
1 servers)
2 192.168.1.6
1003 192.168.1.63
