DAY 36 文本处理命令awk
awk的概述
awk：
在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本， 默认以空格或tab键作为分隔符作为分隔，并按模式或者条件执行编辑命令
awk信息的读入也是逐行指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互 的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务
awk工作过程：
- 逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令
- awk倾向于将一行分成多个"字段"然后再进行处理
- awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示
- 使用awk命令的过程中,可以使用逻辑操作符"&&"表示"与"、"|"表示"或"、"!"表示"非"，还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方
awk命令格式
awk 选项 '模式或条件 {操作}' 文件1 文件2 ....或者
awk -f 脚本文件 文件1 文件2 .....
- 注意一定是单引号：'模式或条件 {操作}'
- { }外指定条件，{ }内指定操作。
- 用逗号指定连续的行，用 || 指定不连续的行。&&表示”且“。
- 内建变量，不能用双引号括起来，不然系统会把它当成字符串
awk常见的内置变量（可直接使用）：
| 内置变量 | 含义 |
| $0 | 当前处理的行的整行内容 |
| $n | 当前处理行的第n个字段（第n列） |
| NR | 当前处理的行的行号（序数） |
| NF | 当前处理的行的字段个数。$NF代表最后一个字段 |
| FS | 列分割符，指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同 |
| OFS | 输出内容的列分隔符 |
| FILENAME | 被处理的文件名 |
| RS | 行分隔符，awk从文件中读取资料时，将根据RS的定义把资料切割成许多条记录， 而awk一次仅读入一条记录进行处理。预设值是"\\n" |
awk的基础用法
按行输出内容
打印行号和整行内容
使用NR指定行号
打印1到3行 ，表示连续的行内容， &&表示且
注意符号"||"（表示“或“）
打印奇数行；打印偶数行。（将行号除以2取余数，余1是奇数行，余0是偶数行）
$n 表示当前处理行的第n个字段
使用字符串处理行内容
使用BEGIN输出包含指定字符的行并统计有多少行
- BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作
- awk再处理指定的文本，之后再执行END模式中指定的动作
- END{ } 语句块中，往往会放入打印结果等语句
awk 'BEGIN{x=0};/\\/bash$/{x++};END {print x}' /etc/passwd
统计以/bin/bash 结尾的行数，等同于grep -c "/bash$"
以:为行分隔符，进行统计行号
按字段（列）输出内容
指定列分隔符的两种方式：使用-F 或 使用内建变量FS
使用 -F指定分隔符
把内建变量FS重新赋值
内建变量FS表示列分隔符，默认为空格或制表位。重新赋值可重新指定分隔符
打印UID大于500的用户、大于UID小于等于500的用户（!取反）
要求打印用户名和UID
! 表示取反，不大于500，即小于等于500
与if语句或者while或三目运算符等一起使用时需要再嵌套一个大括号{ }
三元运算符：(条件表达式)?(A表达式或者值）:(B表达式或者值)条件表达式成立为真时会取:号前面的A的值条件表达式不成立为假时会取:号后面的B的值
三元运算符
NF当前处理的行的字段个数
打印第一个字段与最后一个字段
RS分隔符
awk实例
查看内存使用率
查看CPU空闲率
top -b -n 1 只会输出一次top的结果 不会进行刷新
date命令
以数字形式输出
[root@localhost ~]# date +"%F"
2022-04-24
以年月日的形式输出
[root@localhost ~]# date +"%Y%m%d"
20220424
输出当月的第一天
[root@localhost ~]# date +"%Y%m01"
20220401
输出下一个月的第一天
[root@localhost ~]# date -d "$(date -d "1 month" +"%Y%m01")"
2022年 05月 01日 星期日 00:00:00 CST
[root@localhost ~]# date -d "$(date -d "1 month" +"%Y%m01")" +"%Y%m%d"
20220501
输出本月的最后一天
[root@localhost ~]# date -d "$(date -d "1 month" +"%Y%m01") - 1 day" +"%Y%m%d"
20220430
输出上个月的倒数第3天
[root@localhost ~]# date -d "$(date +"%Y%m01") - 3 day" +"%Y%m%d"
20220329
输出服务器重启时间
[root@localhost ~]# date -d "$(awk -F. '{print $1}' /proc/uptime) second ago" +"%Y%m%d %H;%M;%S"
20220424 14;27;32
通过管道符处理其他命令的结果
统计行数
1.使用内置变量NR，打印最后一行行号
2.使用 wc -l 统计行数
使用 grep -c 统计匹配行的行数
