Linux系统三剑客之awk命令详解(三)

Linux系统三剑客之grep和正则表达式的介绍(一)-CSDN博客

Linux系统三剑客之sed命令详解(二)-CSDN博客

接上文

1.作用

2.语法

3.变量

4.选项

5.模式

编辑

6.动作

7.实例

1.作用

awk是一个强大的文本分析工具，其主要工作原理就是将文件内容逐行读取，按照分隔符进行切片，切成多个组成部分，然后将每片保存到内建的变量中。如果指定了模式的话，根据模式匹配是否处理此行内容，若此行文本符合模式，则按照动作处理文本。

以上介绍到了几个关键词，分别是模式和动作，具体意思会放在后面介绍。

在上面的文本中，通过分隔符将文本内容切割成多个列，那么如果想获取某个列怎么办呢？就可以使用$加上第几列的数量就可以。具体如下：

$0 : 代表所有数据
$1 : 代表第一列
$2 : 代表第二列
$n : 代表第n列

需要注意的是，若切割出的第n列已经没有数据，你继续输出的话就输出了空行。

awk早期就以在Unix上实现了，现在Linux上所使用的awk其实是gawk,也就是GUN awk，简称为gawk。而在Linux中所使用的是awk其实就是链接到了gawk中了。

2.语法

awk [options] 'Pattern {Action}' file

awk是固定的语法，在Linux下也可以使用gawk代替
其中options为选项，在awk中支持的选项介绍具体见“选项”小结
其中Pattern为模式，在awk中支持的模式介绍有见“模式”小结
其中Action为要执行的命令，在awk中支持action介绍见"动作"小结
file为文本文件，需要注意的是awk读取的文件流不一定是要跟的这个file，也可以是通过管道输出的结果作为文件流。

3.变量

在介绍完awk的语法之后，我们有必要先了解下awk变量，因为无论是options还是Pattern，都会使用到变量。对于awk来说，主要包括内置变量和自定义变量两种。

内置变量：变量名已经定义好了，一般情况下一会给一个默认值，当然我们也可以自定义变量的值。
自定义变量：用户自己去定义变量的名字和变量的值。

变量的定义格式：var_name = value

内置变量

内置变量名	含义
`FS`	输入字段分隔符，默认为空白字符
`OFS`	输出字段分隔符，默认为空白字符
`RS`	输入记录分隔符（输入换行符），指定输入时的换行符
`ORS`	输出记录分隔符（输出换行符），指定输出时的换行符
`NF`	当前行的字段数（当前行被分隔符分割成了几段）
`NR`	当前行的行号
`FNR`	不同文件分别计数
`FILENAME`	当前文件名
`ARGV`	数组，保存的是命令行所给定的各参数
`ARGC`	`ARGC`数组的个数

变量使用也非常简单，直接使用变量名即可，具体如下：

自定义变量

自定义变量，简单来说就是用户自己定义的变量。在awk中有两种方式可以自定义变量。

方式1：使用-v参数，定义格式为：-v var_name = value .

方式2：在BEGIN模式中定义。

以上的两种方式，目前还没有涉及到，故我们在下面内容中讲解。

注意：定义变量最终的目的是要使用变量，那么在awk中怎么使用呢？答案就是使用处直接写变量的名字就可以得到变量的值了。那么变量一般会在哪使用呢？在后面要讲解到的模式和动作都会用到。

4.选项

所谓的选项，就是awk后面的options，一般都是通过减号(-) 加上一个英文字符组成，不同英文字符代表不同的意思。在awk中支持的选项参数也有很多，放在方括号内([])代表这个选项是可选的。这里主要介绍最常用的。

-F : 指明用于分割内容的分隔符，若不加该参数，默认使用空格分割
-v : 自定义变量，具体格式为：var_name = value .
-f : 调用脚本。

-F 选项

以下是对-F参数的说明,在此案例中使用英文点(.)作为分隔符，通过分隔符将文本内容分隔成多个部分。

-v 选项

在上面我们介绍-v可以自定义变量，自定义变量时，变量名可以是内置变量也可以用户自己定义的变量名，具体定义方式如下：

2）自己定义变量名进行定义

5.模式

所谓的模式，其实就是Pattern的部分，我们可以将模式理解为条件，在前面介绍到awk是逐行处理的，那怎么判断哪行该处理？哪行不该处理呢？答案就是这个模式，当匹配到的模式就是要处理的行，而不匹配的行就会被跳过。

另外，Pattern部分一定要放在引号当中，一般使用单引号引起来。一条awk指令可以包括0个模式或多个模式；如果后面有Action ，中间用空格隔开。

Pattern主要包括以下几个部分：

BEGIN模式：初始化代码块，即开始处理文本前要执行的操作。
END模式：收尾工作，即处理文本之后要执行的操作
关系表达式模式：相当于条件判断，满足条件的就会执行后面的‘动作’，而这里就支持各种运算符，如比较运算符，算数运算符等。
空模式：此模式会匹配文本的每一行，也就是每一行满足条件。
正则模式：通过正则进行匹配，匹配后的将会执行后面的动作。
行范围模式：处理pattern1到pattern2之间(不包含pattern2) 。从pattern1匹配的行开始，到pattern2匹配的行结束。

BEGIN模式

在前面介绍到，BEGIN模式是在处理文本之前的动作，在声明BEGIN时，后面括号内的语句就是BEGIN要执行的操作，

END模式

指定了处理完文本内容之后执行的操作，也就是进行一些收尾工作。

空模式

空模式其实就是不设置任何模式或条件，也就是说对文本的每一行需要执行的处理就是空模式，简单来说空模式就是对行不做过滤处理，具体如下：

关系表达式模式

所谓的关系表达式模式是指包含表达式的模式，通过该表达式对文本行进行过滤处理。

表达式可以是比较表达式，也可以是赋值运算符
同时支持的操作符也是

以下为比较表达式

awk支持的比较运算符还包括：

x < y : 小于
x <= y :小于等于
x > y : 大于
x >= y :大于等于
x == y : 等于
x != y ：不等于
x ~ y : 匹配正则y为真
x !~ y : 不匹配正则y为真

以下为赋值表达式

awk支持的赋值运算符包括：

x = y ：赋值
x += y : 先加后赋值
x -= y : 先减后赋值
x *= y : 先乘后赋值
x /= y : 先除后赋值
x %= y :先取余后赋值
x^= y:先次方后赋值
x ** y : 先次方后赋值
x ++ :对x+1
x -- : 对x-1

支持的算数运算符：

x+y :加法
x-y :减法
x*y : 乘法
x/y : 除法
x%y :取余
x^y : 次方(效果和**一样)
x**y : 次方

支持布尔类型：

非0值为true
非空字符串为true
其余为为false

支持的逻辑操作符：

x && y：两者都满足返回true
x || y ：一个满足返回true
! x : x若返回假，则返回true

除了以上支持的各种运算符外，awk还支持函数调用，条件语句，循环语句

正则模式

所谓的正则模式，其实就是使用正则表达式作为的模式。所以要想使用这个模式，我们就的熟悉正则表达式，如果你还是对正则表达式不太熟悉，可参考第一章的正则表达式。

使用正则表达式也有一定的规则，具体如下：

awk '/正则表达式/{Action}' file

行范围模式

行范围模式，是使用正则表达式来匹配两个关键字之间行的数据，如果这个关键字在文本中出现过多次，那么也会匹配出多次。它的使用规则如下：

awk '/正则1/,/正则2/{Action}' file

6.动作

所谓的动作，就是Action 的部分，在Action部分主要包括如下几个部分。

在Action中，虽然看语法写的是一个Action，但是在括号内可以有多个执行语句；也可以直接编写多个Action动作。

print ：打印语句
printf ：同样为打印语句，但是可以进行格式化
条件语句：可以进行条件判断
循环语句：可以进行循环.

print语句

在上面已经多次使用到，使用print语句可以输出变量值，在这里就不再赘述。

printf语句

和print语句类似，但是比print语句更加强大，它的主要作用是可以对文本进行格式化处理，其语法格式为：

printf format,item1,item2 ...

format用于指定后面每个item的输出格式
format一般输入的是格式符+修饰符+一些字符组成的字符串(见下)，同时需要用双引号引起来
fromat和item都需要用逗号隔开
printf语句不会自动换行，若要进行换行，需通过\n

格式符

%f : 显示为浮点数
%g,%G: 以科学数法或浮点形式显示数值
%s: 显示字符串
%u: 无符号整数
%%: 显示%号自身，相当于转义

修饰符

N : 显示宽度
- : 左对齐（默认为右对齐）
+ : 显示数值符号

条件语句

如果学习过编程语言，都知道在编程语言中有if ...else语句，那么对于awk来说，也是支持if ... else 。在awk支持如下三种情况：

if(条件){执行语句1；执行语句2}
if(条件){执行语句1} else {执行语句2}
if(条件1){执行语句1} else if(条件2){执行语句2} else{执行语句3}

对于以上代码做个简单说明：

第一种情况：如果条件为真，执行大括号{}内的语句
第二种情况：如果条件为真，执行语句1；否则执行语句2
第三种情况：如果条件1为真，执行语句1，否则如果条件2为真，执行语句2，否则，执行语句3

循环语句

在awk中，支持的for循环也有三种，分别是for, while,do ... while .具体如下：

# for循环语法格式1:
	for(初始化;布尔表达式;自增减){
		//执行代码
	}
# 实例
	for(i=0;i<=10;i++){print i}
# 说明	
	1.初始化变量的值
	2.开始执行布尔表达式，如果为真，执行后面的打印语句
	3.进行+1
	4.重复执行第2，3步骤
	
# for循环语法格式2：
	for(变量 in 数组){
		//执行代码
	}
#实例
	for(i in arrname){
		print i,arrname[i]
	}
	
# while循环语法格式
	while(布尔表达式){
		//执行代码
	}
#实例
	while(i<=10){print i}
# 说明	
	1.执行条件判断，若为真，执行后面打印语句
	2.重复循环第1步骤

# do ... while循环语法
	do{
		//执行代码
	}while(条件)
#实例
	do{print "helloworld";i++}while(i<=3)
# 说明
	1.先执行打印语句，然后再自加1
	2.执行条件判断，若为真，继续执行打印语句，然后再自加1，依次循环，直到条件变为假。

当然除了以上的循环外，我们还可以在跳过本次循环，或者断开循环 . 分别使用的关键词为：

跳过循环：continue
断开循环：break

7.实例

以下练习主要使用abc.log文本进行练习；

[root@localhost test]# cat abc.log 
drwxr-xr-x.  20 root root  3360 9月  29 05:19 dev
drwxr-xr-x.   3 root root    20 9月  14 03:08 docker_registry
drwxr-xr-x.   2 root root    41 9月  17 06:23 docker_study
drwxr-xr-x. 151 root root 12288 9月  29 05:20 etc
drwxr-xr-x.   3 root root    18 9月  10 06:57 home
lrwxrwxrwx.   1 root root     7 9月  10 06:12 lib -> usr/lib
lrwxrwxrwx.   1 root root     9 9月  10 06:12 lib64 -> usr/lib64
drwxr-xr-x.   2 root root     6 4月  11 2018 media
drwxr-xr-x.   2 root root    21 9月  19 21:51 mnt

1.输出第一，第二列数据，中间不空格