Linux三剑客之awk

发表于 更新于 阅读次数： 阅读次数： 本文字数： 3.9k 阅读时长 ≈ 4 分钟

1、介绍

​ 此命令的设计者有 3 位，他们的姓分别是 Aho、Weingberger 和 Kernighan，awk 就取自这 3 为大师姓的首字母。和 sed 命令类似，awk 命令也是逐行扫描文件（从第 1 行到最后一行），寻找含有目标文本的行，如果匹配成功，则会在该行上执行用户想要的操作；反之，则不对行做任何处理。

2、基本语法

awk 命令的基本格式为：

1
[root@localhost ~]# awk [选项] '脚本命令' 文件名

此命令常用的选项以及各自的含义，如表

选项 含义
-F fs 指定以 fs 作为输入行的分隔符，awk 命令默认分隔符为空格或制表符。
-f file 从脚本文件中读取 awk 脚本指令，以取代直接在命令行中输入指令。
-v var=val 在执行处理过程之前，设置一个变量 var，并给其设备初始值为 val。

awk 的强大之处在于脚本命令，它由 2 部分组成，分别为匹配规则和执行命令，如下所示：

1
'匹配规则{执行命令}'

​ 这里的匹配规则，和 sed 命令中的 address 部分作用相同，用来指定脚本命令可以作用到文本内容中的具体行，可以使用字符串（比如 /demo/，表示查看含有 demo 字符串的行）或者正则表达式指定。另外需要注意的是，整个脚本命令是用单引号（’’）括起，而其中的执行命令部分需要用大括号（{}）括起来。

在 awk 程序执行时，如果没有指定执行命令，则默认会把匹配的行输出；如果不指定匹配规则，则默认匹配文本中所有的行。

举个简单的例子：

1
[root@localhost ~]# awk '/^$/ {print "Blank line"}' test.txt

​ 在此命令中，/^$/ 是一个正则表达式，功能是匹配文本中的空白行，同时可以看到，执行命令使用的是 print 命令，此命令经常会使用，它的作用很简单，就是将指定的文本进行输出。因此，整个命令的功能是，如果 test.txt 有 N 个空白行，那么执行此命令会输出 N 个 Blank line。

3、awk 使用数据字段变量

awk 的主要特性之一是其处理文本文件中数据的能力，它会自动给一行中的每个数据元素分配一个变量。

默认情况下，awk 会将如下变量分配给它在文本行中发现的数据字段：

  • $0 代表整个文本行；
  • $1 代表文本行中的第 1 个数据字段；
  • $2 代表文本行中的第 2 个数据字段；
  • $n 代表文本行中的第 n 个数据字段。

前面说过，在 awk 中，默认的字段分隔符是任意的空白字符（例如空格或制表符）。 在文本行中，每个数据字段都是通过字段分隔符划分的。awk 在读取一行文本时，会用预定义的字段分隔符划分每个数据字段。

所以在下面的例子中，awk 程序读取文本文件，只显示第 1 个数据字段的值：

1
2
3
4
5
6
7
8
9
10
[root@node1 ~]# cat data2.txt
This is line number 1.
This is line number 2.
This is line number 3.
This is line number 4.
[root@node1 ~]# awk '{print $5}'  data2.txt
1.
2.
3.
4.

该程序用 $5 字段变量来表示“仅显示每行文本的第 5 个数据字段”。当然，如果你要读取采用了其他字段分隔符的文件，可以用 -F 选项手动指定。

4、awk 脚本命令使用多个命令

awk 允许将多条命令组合成一个正常的程序。要在命令行上的程序脚本中使用多条命令，只要在命令之间放个分号即可，例如：

1
2
3
4
5
6
7
8
9
10
[root@node1 ~]# cat data2.txt
This is line number 1.
This is line number 2.
This is line number 3.
This is line number 4.
[root@node1 ~]# awk '{$4="line";print $0}'  data2.txt
This is line line 1.
This is line line 2.
This is line line 3.
This is line line 4.

第一条命令会给字段变量 $4 赋值。第二条命令会打印整个数据字段。可以看到，awk 程序在输出中已经将原文本中的第四个数据字段替换成了新值。

除此之外，也可以一次一行地输入程序脚本命令，比如说：

1
2
3
4
5
[root@node1 ~]# awk '{
> $3="tom"
> print $0}'
my name hello
my name tom

在你用了表示起始的单引号后，bash shell 会使用 > 来提示输入更多数据，我们可以每次在每行加一条命令，直到输入了结尾的单引号。

注意，此例中因为没有在命令行中指定文件名，awk 程序需要用户输入获得数据，因此当运行这个程序的时候，它会一直等着用户输入文本，此时如果要退出程序，只需按下 Ctrl+D 组合键即可。

5、awk从文件中读取程序

跟 sed 一样，awk 允许将脚本命令存储到文件中，然后再在命令行中引用，比如：

1
2
3
4
5
6
7
8
[root@node1 ~]# cat awk.sh
#!/bin/bash
{print $1 "'s wellcom to beijing'" $6}
[root@node1 ~]# awk -F: -f awk.sh /etc/passwd
root's wellcom to beijing'/root
bin's wellcom to beijing'/bin
daemon's wellcom to beijing'/sbin
adm's wellcom to beijing'/var/adm

awk.sh 脚本文件会使用 print 命令打印 /etc/passwd 文件的主目录数据字段（字段变量 $6），以及 userid 数据字段（字段变量 $1）。注意，在程序文件中，也可以指定多条命令，只要一条命令放一行即可，之间不需要用分号。

6、awk BEGIN关键字

awk 中还可以指定脚本命令的运行时机。默认情况下，awk 会从输入中读取一行文本，然后针对该行的数据执行程序脚本，但有时可能需要在处理数据前运行一些脚本命令，这就需要使用 BEGIN 关键字。

BEGIN 会强制 awk 在读取数据前执行该关键字后指定的脚本命令，例如：

1
2
3
4
5
6
7
8
9
10
11
[root@node1 ~]# cat data2.txt
This is line number 1.
This is line number 2.
This is line number 3.
This is line number 4.
[root@node1 ~]# awk 'BEGIN {print "hello world:"} {print $5}' data2.txt
hello world:
1.
2.
3.
4.

可以看到，这里的脚本命令中分为 2 部分，BEGIN 部分的脚本指令会在 awk 命令处理数据前运行，而真正用来处理数据的是第二段脚本命令。

7、awk END关键字

和 BEGIN 关键字相对应，END 关键字允许我们指定一些脚本命令，awk 会在读完数据后执行它们，例如：

1
2
3
4
5
6
7
[root@node1 ~]# awk 'BEGIN {print "hello world:"} {print $5} END {print "love china"}' data2.txt
hello world:
1.
2.
3.
4.
love china

可以看到，当 awk 程序打印完文件内容后，才会执行 END 中的脚本命令。

8、归纳总结

(一)内置变量

\1. 每一行内容记录，叫做记录，英文名称 Record

\2. 每行中通过分隔符隔开的每一列，叫做字段，英文名称 Field

明确这几个概念后，我们来总结几个重要的内置变量：

  • NR：表示当前的行数;
  • NF：表示当前的列数;
  • RS：行分隔符，默认是换行;
  • FS：列分隔符，默认是空格和制表符;
  • OFS：输出列分隔符，用于打印时分割字段，默认为空格
  • ORS：输出行分隔符，用于打印时分割记录，默认为换行符

(二)输出格式

awk 提供 printf 函数进行格式化输出功能，具体的使用方式和 C 语法基本一致。

基本用法

1
printf("%12s, %02d, %0.2f\n", s, d, g);

常用的格式化方式：

  • %d 十进制有符号整数
  • %u 十进制无符号整数
  • %f 浮点数
  • %s 字符串
  • %c 单个字符
  • %e 指数形式的浮点数
  • %x %X 无符号以十六进制表示的整数
  • %0 无符号以八进制表示的整数
  • %g 自动选择合适的表示法
  • \n 换行符
  • \t Tab符

(三)编程语句

awk 不仅是一个 Linux 命令行工具，它其实是一门脚本语言，支持程序设计语言所有的控制结构，它支持：

  • 条件语句
  • 循环语句
  • 数组
  • 函数

(四)常用函数

awk 内置了大量的有用函数功能，也支持自定义函数，允许你编写自己的函数来扩展内置函数。

这里只简单罗列一些比较常用的字符串函数：

  • index(s, t) 返回子串 t 在 s 中的位置
  • length(s) 返回字符串 s 的长度
  • split(s, a, sep) 分割字符串，并将分割后的各字段存放在数组 a 中
  • substr(s, p, n) 根据参数，返回子串
  • tolower(s) 将字符串转换为小写
  • toupper(s) 将字符串转换为大写