awk 是一个强大的文本分析工具，相对于 grep 的查找，sed 的编辑，awk 在其对数据分析并生成报告时，显得尤为强大。简单来说，awk 就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
awk 有3个不同版本：awk、nawk 和 gawk，未作特别说明，一般指gawk，gawk 是 awk 的 GNU 版本。
awk 其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上，awk 的确拥有自己的语言，即 awk 程序设计语言，三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。
awk 命令格式及选项
awk 语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk 抽取信息后，才能进行其他文本操作。完整的 awk 脚本通常用来格式化文本文件中的信息。
通常，awk 是以文件的一行为处理单位的。awk 每接收文件的一行，然后执行相应的命令，来处理文本。
命令格式
awk [options] 'script' {filenames}
命令选项
- -f program-file
--file program-file
从指定的脚本文件 program-file 中读取awk命令。 - -F fs
--field-separator fs
指定输入分隔符 fs，fs 可以是字符串或正则表达式。
awk 模式与操作
awk 脚本是由模式和操作组成的。
awk 模式
模式可以是以下任意一个：
- /正则表达式/：使用通配符的扩展集；
- 关系表达式：使用运算符进行操作，可以是字符串或数字的比较测试；
- 模式匹配表达式：用运算符
~（匹配）和~!（不匹配）； - BEGIN 语句块、pattern 语句块、END 语句块。
awk 操作
操作由一个或多个命令、函数、表达式组成，之间由换行符或分号隔开，并位于大括号内，主要部分是：
- 变量或数组赋值
- 输出命令
- 内置函数
- 控制流语句
awk 调用方式
有三种方式调用 awk。
命令行方式
直接以 awk 命令执行。
shell 脚本方式
将所有的 awk 命令插入一个文件，并使 awk 程序可执行，然后 awk 命令解释器作为脚本的首行，以便通过键入脚本名称来调用。
相当于 shell 脚本首行的 #!/bin/sh 可以换成 #!/bin/awk。
awk 命令插入一个单独文件
将所有的 awk 命令插入一个单独文件，然后调用。
awk 内置变量
| 变量 | 描述 |
|---|---|
| $n | 当前记录的第n个字段（列），字段（列）间由 fs 分隔 |
| $0 | 完整的输入记录 |
| ARGC | 命令行参数的数目 |
| ARGIND | 命令行中当前文件的位置(从0开始算) |
| ARGV | 包含命令行参数的数组 |
| CONVFMT | 数字转换格式(默认值为%.6g)ENVIRON环境变量关联数组 |
| ERRNO | 最后一个系统错误的描述 |
| FIELDWIDTHS | 字段宽度列表(用空格键分隔) |
| FILENAME | 当前文件名 |
| FNR | 各文件分别计数的行号 |
| FS | 字段分隔符(默认是任何空格) |
| IGNORECASE | 如果为真，则进行忽略大小写的匹配 |
| NF | 一条记录的字段的数目 |
| NR | 已经读出的记录数，就是行号，从1开始 |
| OFMT | 数字的输出格式(默认值是%.6g) |
| OFS | 输出记录分隔符（输出换行符），输出时用指定的符号代替换行符 |
| ORS | 输出记录分隔符(默认值是一个换行符) |
| RLENGTH | 由match函数所匹配的字符串的长度 |
| RS | 记录分隔符(默认是一个换行符) |
| RSTART | 由match函数所匹配的字符串的第一个位置 |
| SUBSEP | 数组下标分隔符(默认值是/034) |
示例
| 描述 | 命令 |
|---|---|
| 打印文本每行第9列为404的行信息 |
|
| 打印包含字符串"https://www.google.com"的整行 |
|