爱站程序员基地文章目录
- [ul]3) 显示用户信息配置文件中uid大于500的用户名及uid信息并在开头显示“用户名 UID”字样，在结尾显示“the over\”
- 1) 给文件结尾 添加信息
- 2） 统计 /etc/services 文件中的空行的数量
- 1. awk 脚本拥有的形式
- 2. 正则表达式
- 3. 关系表达式
- 4. 组合的Pattern（模式）
- 5. Pattern1,Pattern2
- 6. BEGIN
- a) 给文件开头添加信息
- b) 取eth0的ip地址
- awk工作的三个步骤
- awk中的各种模式详解
- 7. END
[/ul]
awk工作的三个步骤
- 读：从文件、管道或标准输入中读入一行然后把它存放到内存中
- 执行：对每一行数据，根据AWK命令按顺序执行。默认情况是处理每一行数据，也可以指定模式
- 重复：一直重复上述两个过程直到文件结束
awk中的各种模式详解
1. awk 脚本拥有的形式
awk \'/pattern/ { actions }\' filename
你通常会发现脚本中的模式(/pattern/)是一个正则表达式，此外，你也可以在这里用特殊模式 BEGIN 和 END。因此，我们也能按照下面的形式编写一条 awk 命令：
awk \'BEGIN { actions } /pattern/ { actions } /pattern/ { actions }...END { actions }\' filenames
语法结构如下图：
其中：BEGIN END是AWK的关键字部，因此必须大写；这两个部分开始块和结束块是可选的
特殊模块：
BEGIN语句设置计数和打印头部信息，在任何动作之前进行
END 语句输出统计结果，在完成动作之后执行
awk通过Pattern（模式）来控制是否处理当前记录，如果当前记录和Pattern匹配，则执行Action（操作）。在awk中，有下列几种模式：
1、正则表达式2、关系表达式3、组合的Pattern4、Pattern1,Pattern25、BEGIN6、END
为了说明以上各种模式，我们这里准备一个文件score.txt，以实例的方式一一进行说明，score.txt文件内容如下：
[root@ecs-c13b awk]# cat score.txt guojing 85 92 78zhaoyun 89 90 75sanfeng 84 88 80guanyu 83 78 90liubei 86 88 79
2. 正则表达式
- 查询有一门课程成绩在90-99区间的学习的成绩。
[root@ecs-c13b awk]# awk \'/9[0-9]/ {print $0}\' score.txt guojing 85 92 78zhaoyun 89 90 75guanyu 83 78 90
以上指令查询有一门课成绩在[90-99]区间的学生的成绩信息，/9[0-9]/部分即为awk程序指令中的Pattern，这里Pattern的类型为正则表达式。
awk \'$3 ~ /9[0-9]/ {print $0}\' score.txtzhaosan 85 92 78lisheng 89 90 75
这条指令在上一条指令的基础上增加了限制，需要第二门课（数学）成绩在[90-99]区间才可与模式匹配。这里的 ~ 操作符用来表示变量是否与正则表达式匹配，如果要判断不匹配，可以使用 !~ 操作符。
3. 关系表达式
awk \'$3 >= 90 {print $0}\' score.txtzhaosan 85 92 78lisheng 89 90 75
可用来形成模式关系运算符包括： <（小于）、>（大于）、<=（小于或等于）、>=（大于或等于）、= =（等于）和 ! =（不等于）。
这条指令的作用也是查询数学成绩在90分以上的学生成绩信息，不过比正则表达式中的范围要大一点，这里100分也是符合模式的。
4. 组合的Pattern（模式）
awk \'$3 >= 90 && $3 < 100 {print $0}\' score.txtzhaosan 85 92 78lisheng 89 90 75
布尔运算符 ||（或）&&（和）以及 !（不）将模式组合，组合后如果求值为真则模式匹配，否则不匹配。这里就解决了关系表达式示例中包含了100的问题。
5. Pattern1,Pattern2
awk \'FNR == 2 , FNR == 4 {print $0}\' score.txtlisheng 89 90 75zhaoyun 84 88 80guanyu 83 78 90
其实这个也可以归为组合的模式中，只是这种模式比较特殊，故单独列出。以,（逗号）隔开的两个Pattern指定一个范围，对从匹配第一个Pattern的记录开始，到匹配第二个Pattern结束的所有记录执行Action
6. BEGIN
BEGIN模块在awk读取文件之前就执行，一般用来定义我们的内置变量（预定义变量，eg：FS,RS）可以输出表头（excel表格名称）
BEGIN模式之前在实例中提到，自定义变量，给内容变量赋值等，都是使用过。需要注意的是BEGIN模式后面要结合一个action操作块，包含在大括号内。
awk必须在对输入文件进行任何处理前先执行BEGIN定义的action操作块。我们可以不要任何输入文件，就可以对BEGIN模块进行测试，因为awk需要先执行完BEGIN模式，才对输入文件做处理。BEGIN模式常常被用来修改内置变量ORS，RS，FS，OFS，等的值。
a) 给文件开头添加信息
假如我们要将学生成绩表打印出来，那总得加点表头什么的吧，就可以放到BEGIN中了。
awk \'BEGIN { print \"Print student score table\"} {print $0}\' score.txtPrint student score tablezhaosan 85 92 78lisheng 89 90 75zhaoyun 84 88 80guanyu 83 78 90liubei 86 88 79
b) 取eth0的ip地址
ifconfig eth0|awk -F \'(addr:)|(Bcast:)\' \'NR==2{print $2}\'ifconfig eth0|awk -F \'[: ]+\' \'NR==2{print $4}\'ifconfig eth0|awk -F \'[^0-9.]+\' \'NR==2{print $2}\'
也可以写成
ifconfig eth0|awk \'BEGIN{FS=\"(addr:)|(Bcast:)\"} NR==2{print $2}\'ifconfig eth0|awk \'BEGIN{FS=\"[^0-9.]+\"} NR==2{print $2}\'ifconfig eth0|awk \'BEGIN{FS=\"[: ]+\"} NR==2{print $4}\'
注意：命令行 -F 本质就是修改FS的变量。
7. END
END 在awk读取完所有的文件的时候，再执行END模块，一般用来输出一个结果（累加，数组的结果）也可以是和BEGIN模块类似的结尾标识信息。
1) 给文件结尾 添加信息
awk \'END { print \"Work done\"} {print $0}\' score.txtzhaosan 85 92 78lisheng 89 90 75zhaoyun 84 88 80guanyu 83 78 90liubei 86 88 79Work done
2） 统计 /etc/services 文件中的空行的数量
统计数量: grep -c 或 awk
[root@mysql-master ~]# awk \'/^$/{print $0}\' /etc/services |wc -l16[root@mysql-master ~]# grep -c \'^$\' /etc/services16[root@mysql-master ~]# awk \'/^$/{i++}END{print i}\' /etc/services16[root@mysql-master ~]# awk \'/^$/{i=i+1}END{print i}\' /etc/services16
3) 显示用户信息配置文件中uid大于500的用户名及uid信息并在开头显示“用户名 UID”字样，在结尾显示“the over\”
awk -F: \'BEGIN { print \"用户名 UID\"} END { print \"the over\"} $3>500{print $1,$3}\' /etc/passwd
补充：awk中变量使用
直接定义，直接使用即可。
awk中字母会被认为是变量，如果真的要给一个变量赋值使用双引号
[root@mysql-master ~]# awk \'BEGIN{ a=123asdf;print a}\' #awk中字母会被认为是变量123[root@mysql-master ~]# awk \'BEGIN{ a=\"123asdf\";print a}\' #awk中给变量赋值要加双引号；使用变量直接使用即可123asdf
