因为最近一直在写过滤日志的脚本，写一下日志中的常用的相关操作命令。
xargs命令
很方便的工具，支持管道或标准输入，尝尝find配合使用，当然也可以对ls配合，通常用于批量文件操作。也可以将单行或多行文本输入转换为其他格式，例如多行变单行，单行变多行。
（xargs 默认的命令是 echo「默认空格定界符，-d 自定义定界符」，因此通过xargs 的处理，换行和空白将被空格取代，变成一行数据！！！它能够捕获一个命令的输出，然后传递给另外一个命令）
find / *[0-9].log |ls -l #这个命令是错误的
find / *[0-9].log |xargs ls -lh #查找以“数字.log”结尾的文件并现在文件详细信息
ls *[1-9].xml |xargs cp {} /tmp #查找以“数字.xml”结尾的文件并cp到/tmp语法：
somecommand |xargs -【参数选项】 command参数：
- -a file 从文件中读入作为 stdin
- -d 自定义定界符
- -e flag ，注意有的时候可能会是-E，flag必须是一个以空格分隔的标志，当xargs分析到含有flag这个标志的时候就停止。
- -p 当每次执行一个命令时询问一次用户。
- -n num 后面加次数，表示命令在执行的时候一次用的argument的个数，默认是用所有的。
- -t 表示先打印命令，然后再执行。
- -i 或者是-I，这得看linux支持了，将xargs的每项名称，一般是一行一行赋值给 {}，可以用 {} 代替。
- -r no-run-if-empty 当xargs的输入为空的时候则停止xargs，不用再去执行了。
- -s num 命令行的最大字符数，指的是 xargs 后面那个命令的最大命令行字符数。
- -L num 从标准输入一次读取 num 行送给 command 命令。
- -l 同 -L。
- -d delim 分隔符，默认的xargs分隔符是回车，argument的分隔符是空格，这里修改的是xargs的分隔符。
- -x exit的意思，主要是配合-s使用。。
- -P 修改最大的进程数，默认是1，为0时候为as many as it can ，这个例子我没有想到，应该平时都用不到的吧。
例：xargs将管道传递数据变为一行数据
#创建测试文件
[root@ffing test]# touch test.{1..3}.log test.{1..3}.txt test.{1..3}.xml
[root@ffing test]# ll
总用量 0
-rw-r--r--. 1 root root 0 2月 18 21:19 test.1.log
-rw-r--r--. 1 root root 0 2月 18 21:19 test.1.txt
-rw-r--r--. 1 root root 0 2月 18 21:19 test.1.xml
-rw-r--r--. 1 root root 0 2月 18 21:19 test.2.log
-rw-r--r--. 1 root root 0 2月 18 21:19 test.2.txt
-rw-r--r--. 1 root root 0 2月 18 21:19 test.2.xml
-rw-r--r--. 1 root root 0 2月 18 21:19 test.3.log
-rw-r--r--. 1 root root 0 2月 18 21:19 test.3.txt
-rw-r--r--. 1 root root 0 2月 18 21:19 test.3.xml
#利用xargs将管道传递内容变转换为一行
[root@ffing test]# ll |xargs
总用量 0 -rw-r--r--. 1 root root 0 2月 18 21:19 test.1.log -rw-r--r--. 1 root root 0 2月 18 21:19 test.1.txt -rw-r--r--. 1 root root 0 2月 18 21:19 test.1.xml -rw-r--r--. 1 root root 0 2月 18 21:19 test.2.log -rw-r--r--. 1 root root 0 2月 18 21:19 test.2.txt -rw-r--r--. 1 root root 0 2月 18 21:19 test.2.xml -rw-r--r--. 1 root root 0 2月 18 21:19 test.3.log -rw-r--r--. 1 root root 0 2月 18 21:19 test.3.txt -rw-r--r--. 1 root root 0 2月 18 21:19 test.3.xml=============================================================
例：xargs，定义分隔符，定义一行输出几个（默认为空格）
[root@ffing test]# cat test.log
2022-02-18 info test.log |test|log
2022-02-18 error.log |test|log
[root@ffing test]# cat test.log|xargs -d '|' -n1
2022-02-18 info test.log
test
log
2022-02-18 error.log
test
log
[root@ffing test]# cat test.log|sed 's/|/\n/g'
2022-02-18 info test.log
test
log
2022-02-18 error.log
test
log=============================================================
例：find文件后，进行操作（ll、cp、mv等）
#ll查看文件详细信息（ll是ls -l的别名！）
#find文件名包含test.3*的文件
[root@ffing test]# find / -type f -name "test.3*"
/root/test/test.3.log
/root/test/test.3.txt
/root/test/test.3.xml
#将find到的文件，使用xargs查看文件详细信息
[root@ffing test]# find / -type f -name "test.3*"|xargs ls -lh
-rw-r--r--. 1 root root 0 2月 18 21:19 /root/test/test.3.log
-rw-r--r--. 1 root root 0 2月 18 21:19 /root/test/test.3.txt
-rw-r--r--. 1 root root 0 2月 18 21:19 /root/test/test.3.xml#cp复制到指定目录
[root@ffing test]# find / -type f -name "test.3*"
/root/test/test.3.log
/root/test/test.3.txt
/root/test/test.3.xml
#将find到的文件，cp到/tmp目录下
[root@ffing test]# find / -type f -name "test.3*"|xargs -i cp {} /tmp
[root@ffing test]# ll /tmp
总用量 4
-rwx------. 1 root root 836 3月 2 2022 ks-script-XJEr39
-rw-r--r--. 1 root root 0 2月 18 21:28 test.3.log
-rw-r--r--. 1 root root 0 2月 18 21:28 test.3.txt
-rw-r--r--. 1 root root 0 2月 18 21:28 test.3.xml
drwx------. 2 root root 6 3月 2 2022 vmware-root
-rw-------. 1 root root 0 3月 2 2022 yum.log#mv移动
[root@ffing test]# ll
总用量 0
-rw-r--r--. 1 root root 0 2月 18 21:19 test.1.log
-rw-r--r--. 1 root root 0 2月 18 21:19 test.1.txt
-rw-r--r--. 1 root root 0 2月 18 21:19 test.1.xml
-rw-r--r--. 1 root root 0 2月 18 21:19 test.2.log
-rw-r--r--. 1 root root 0 2月 18 21:19 test.2.txt
-rw-r--r--. 1 root root 0 2月 18 21:19 test.2.xml
-rw-r--r--. 1 root root 0 2月 18 21:19 test.3.log
-rw-r--r--. 1 root root 0 2月 18 21:19 test.3.txt
-rw-r--r--. 1 root root 0 2月 18 21:19 test.3.xml
[root@ffing test]# find / -type f -name "test.[0-9].xml"
/root/test/test.3.xml
/root/test/test.1.xml
/root/test/test.2.xml
[root@ffing test]# find / -type f -name "test.[0-9].xml"|xargs -i mv {} /tmp
[root@ffing test]# ll /tmp
总用量 4
-rwx------. 1 root root 836 3月 2 2022 ks-script-XJEr39
-rw-r--r--. 1 root root 0 2月 18 21:19 test.1.xml
-rw-r--r--. 1 root root 0 2月 18 21:19 test.2.xml
-rw-r--r--. 1 root root 0 2月 18 21:28 test.3.log
-rw-r--r--. 1 root root 0 2月 18 21:28 test.3.txt
-rw-r--r--. 1 root root 0 2月 18 21:19 test.3.xml
drwx------. 2 root root 6 3月 2 2022 vmware-root
-rw-------. 1 root root 0 3月 2 2022 yum.log#mv修改扩展名
[root@ffing test]# ll
总用量 0
-rw-r--r--. 1 root root 0 4月 10 16:56 test1.txt
-rw-r--r--. 1 root root 0 4月 10 16:56 test2.txt
-rw-r--r--. 1 root root 0 4月 10 16:56 test3.txt
-rw-r--r--. 1 root root 0 4月 10 16:56 test4.txt
-rw-r--r--. 1 root root 0 4月 10 16:56 test5.txt
[root@ffing test]# find ./ -type f -name "*.txt"|xargs -i mv {} {}.xml
[root@ffing test]# ll
总用量 0
-rw-r--r--. 1 root root 0 4月 10 16:56 test1.txt.xml
-rw-r--r--. 1 root root 0 4月 10 16:56 test2.txt.xml
-rw-r--r--. 1 root root 0 4月 10 16:56 test3.txt.xml
-rw-r--r--. 1 root root 0 4月 10 16:56 test4.txt.xml
-rw-r--r--. 1 root root 0 4月 10 16:56 test5.txt.xmlsed命令
sed命令,我前面文章写的有，这里只写关于日志过滤中常用到的命令。
#查看test.log内容
[root@ffing test]# cat test.log
a=
b
c
d
e=
#删除第一行
[root@ffing test]# sed '1'd test.log
b
c
d
e=
#删除最后一行
[root@ffing test]# sed '$'d test.log
a=
b
c
d
#查看第一行到第三行
[root@ffing test]# sed -n '1,3'p test.log
a=
b
c
#查看第三行到最后一行
[root@ffing test]# sed -n '3,$'p test.log
c
d
e=
#第一种方法：替换包含=号的行 【.* 代表任意一个字符】
[root@ffing test]# sed 's/.*=.*/=======/' test.log
=======
b
c
d
=======
#第二种方法：替换包含=号的行 【利用行标c】
[root@ffing test]# sed '/=/c #####' test.log
#####
b
c
d
#####
#将第一行替换为ffing
[root@ffing test]# sed '1c ffing' test.log
ffing
b
c
d
e=
#将第一行和第二行替换为ffing
[root@ffing test]# sed '1,2c ffing' test.log
ffing
c
d
e=
#同时替换多个字符串
#将b字符替换为数字2，将c字符串替换为数字3
[root@ffing test]# sed 's/b/2/;s/c/3/' test.log
a=
2
3
d
e=
####统计单词出现次数####
[root@ffing_cn ~]# cat words.txt
the day is sunny the the
the sunny is is
[root@ffing_cn ~]# cat words.txt|sed 's/ /\n/g'
the
day
is
sunny
the
the
the
sunny
is
is
[root@ffing_cn ~]# cat words.txt|sed 's/ /\n/g'|sort|uniq -c
1 day
3 is
2 sunny
4 the
[root@ffing_cn ~]# cat words.txt|sed 's/ /\n/g'|sort|uniq -c|awk '{print $2 " " $1}'
day 1
is 3
sunny 2
the 4
[root@ffing_cn ~]# cat words.txt|sed 's/ /\n/g'|sort|uniq -c|awk '{print $2 "\t" $1}'
day 1
is 3
sunny 2
the 4grep命令
grep用的太多，这里不详细描述了。
-n 过滤的字符串，并带行号
-i 忽略大小写
-E 正则
-v 排除
例：
#过滤带时间戳的行
[root@ffing test]# cat test1.log
2022-02-18 9:00:00 asedfsadf:aaa
fEROOOR：aaaaa
2022-02-18 21:10:12 berer:bbb
ferror：bbbbbbbbbb
2022-02-18 10:00:23 cdfdf:ccc
i:cccccccccc
2022-02-19 13:00:45 der23:ccc
n:xxxdfd
2022-02-19 14:00:58 timeout
g:timeout
[root@ffing test]# grep [0-9]:[0-9][0-9]:[0-9] test1.log
2022-02-18 9:00:00 asedfsadf:aaa
2022-02-18 21:10:12 berer:bbb
2022-02-18 10:00:23 cdfdf:ccc
2022-02-19 13:00:45 der23:ccc
2022-02-19 14:00:58 timeout=======grep正则摘自网络，未做完整验证=========
- grep , egrep 正则表达式特点：
1）grep 支持：BREs、EREs、PREs 正则表达式
grep 指令后不跟任何参数，则表示要使用 ”BREs“
grep 指令后跟 ”-E” 参数，则表示要使用 “EREs“
grep 指令后跟 “-P” 参数，则表示要使用 “PREs”
2）egrep 支持：EREs、PREs 正则表达式
egrep 指令后不跟任何参数，则表示要使用 “EREs”
egrep 指令后跟 “-P” 参数，则表示要使用 “PREs”
3）grep 与 egrep 正则匹配文件，处理文件方法
a. grep 与 egrep 的处理对象：文本文件
b. grep 与 egrep 的处理过程：查找文本文件中是否含要查找的 “关键字”（关键字可以是正则表达式） ，如果含有要查找的 ”关健字“，那么默认返回该文本文件中包含该”关健字“的该行的内容，并在标准输出中显示出来，除非使用了“>” 重定向符号,
c. grep 与 egrep 在处理文本文件时，是按行处理的
- sed 正则表达式特点
1）sed 文本工具支持：BREs、EREs
sed 指令默认是使用”BREs”
sed 命令参数 “-r ” ，则表示要使用“EREs”
2）sed 功能与作用
a. sed 处理的对象：文本文件
b. sed 处理操作：对文本文件的内容进行 — 查找、替换、删除、增加等操作
c. sed 在处理文本文件的时候，也是按行处理的
- Awk（gawk）正则表达式特点
1）Awk 文本工具支持：EREs
awk 指令默认是使用 “EREs”
2）Awk 文本工具处理文本的特点
a. awk 处理的对象：文本文件
b. awk 处理操作：主要是对列进行操作
三、常见3中类型正则表达式比较
| 字符 | 说明 | Basic RegEx | Extended RegEx | python RegEx | Perl regEx |
| 转义 | \ | \ | \ | \ | |
| ^ | 匹配行首，例如’^dog’匹配以字符串dog开头的行（注意：awk 指令中，’^’则是匹配字符串的开始） | ^ | ^ | ^ | ^ |
| $ | 匹配行尾，例如：’^、dog$’匹配以字符串 dog 为结尾的行（注意：awk 指令中，’$’则是匹配字符串的结尾） | $ | $ | $ | $ |
| ^$ | 匹配空行 | ^$ | ^$ | ^$ | ^$ |
| ^string$ | 匹配行，例如：’^dog$’匹配只含一个字符串 dog 的行 | ^string$ | ^string$ | ^string$ | ^string$ |
| \< | 匹配单词，例如：’\<frog’ （等价于’\bfrog’），匹配以 frog 开头的单词 | \< | \< | 不支持 | 不支持（但可以使用\b来匹配单词，例如：’\bfrog’） |
| \> | 匹配单词，例如：’frog\>’（等价于’frog\b ‘），匹配以 frog 结尾的单词 | \> | \> | 不支持 | 不支持（但可以使用\b来匹配单词，例如：’frog\b’） |
| \<x\> | 匹配一个单词或者一个特定字符，例如：’\<frog\>’（等价于’\bfrog\b’）、’\<G\>’ | \<x\> | \<x\> | 不支持 | 不支持（但可以使用\b来匹配单词，例如：’\bfrog\b’ |
| () | 匹配表达式，例如：不支持’（frog）’ | 不支持（但可以使用，如：dogdog | () | () | () |
| 匹配表达式，例如：不支持’（frog）’ | 不支持（同()) | 不支持（同()) | 不支持（同()) | ||
| ？ | 匹配前面的子表达式 0 次或 1 次（等价于{0,1}），例如：where(is)?能匹配”where” 以及”whereis” | 不支持（同\?) | ？ | ？ | ？ |
| \? | 匹配前面的子表达式 0 次或 1 次（等价于’\{0,1\}’），例如：’whereisis\? ‘能匹配 “where”以及”whereis” | \? | 不支持（同?) | 不支持（同?) | 不支持（同?) |
| ? | 当该字符紧跟在任何一个其他限制符（*, +, ?, {n},{n,}, {n,m}） 后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串 “oooo”，’o+?’ 将匹配单个”o”，而 ‘o+’ 将匹配所有 ‘o’ | 不支持 | 不支持 | 不支持 | 不支持 |
| . | 匹配除换行符（’\n’）之外的任意单个字符（注意：awk 指令中的句点能匹配换行符） | . | .（如果要匹配包括“\n”在内的任何一个字符，请使用：'(^$)|（.） | . | .（如果要匹配包括“\n”在内的任何一个字符，请使用：’ [.\n] ‘ |
| * | 匹配前面的子表达式 0 次或多次（等价于{0, }），例如：zo* 能匹配 “z”以及 “zoo” | * | * | * | * |
| \+ | 匹配前面的子表达式 1 次或多次（等价于’\{1, \}’），例如：’whereisis\+ ‘能匹配 “whereis”以及”whereisis” | \+ | 不支持（同+) | 不支持（同+) | 不支持（同+) |
| + | 匹配前面的子表达式 1 次或多次（等价于{1, }），例如：zo+能匹配 “zo”以及 “zoo”，但不能匹配 “z” | 不支持（同\+) | + | + | + |
| {n} | n 必须是一个 0 或者正整数，匹配子表达式 n 次，例如：zo{2}能匹配 | 不支持（同\{n\}) | {n} | {n} | {n} |
| {n,} | “zooz”，但不能匹配 “Bob”n 必须是一个 0 或者正整数，匹配子表达式大于等于 n次，例如：go{2,} | 不支持（同\{n,\}) | {n,} | {n,} | {n,} |
| {n,m} | 能匹配 “good”，但不能匹配 godm 和 n 均为非负整数，其中 n <= m，最少匹配 n 次且最多匹配 m 次 ，例如：o{1,3}将配”fooooood” 中的前三个 o（请注意在逗号和两个数之间不能有空格） | 不支持（同\{n,m\}) | {n,m} | {n,m} | {n,m} |
| x|y | 匹配 x 或 y，例如： 不支持’z|（food）’ 能匹配 “z” 或”food”；’（z|f）ood’ 则匹配”zood” 或 “food” | 不支持（同x\|y) | x|y | x|y | x|y |
| [0-9] | 匹配从 0 到 9 中的任意一个数字字符（注意：要写成递增） | [0-9] | [0-9] | [0-9] | [0-9] |
| [xyz] | 字符集合，匹配所包含的任意一个字符，例如：'[abc]’可以匹配”lay” 中的 ‘a’（注意：如果元字符，例如：. *等，它们被放在[ ]中，那么它们将变成一个普通字符） | [xyz] | [xyz] | [xyz] | [xyz] |
| [^xyz] | 负值字符集合，匹配未包含的任意一个字符（注意：不包括换行符），例如：'[^abc]’ 可以匹配 “Lay” 中的’L’（注意：[^xyz]在awk 指令中则是匹配未包含的任意一个字符+换行符） | [^xyz] | [^xyz] | [^xyz] | [^xyz] |
| [A-Za-z] | 匹配大写字母或者小写字母中的任意一个字符（注意：要写成递增） | [A-Za-z] | [A-Za-z] | [A-Za-z] | [A-Za-z] |
| [^A-Za-z] | 匹配除了大写与小写字母之外的任意一个字符（注意：写成递增） | [^A-Za-z] | [^A-Za-z] | [^A-Za-z] | [^A-Za-z] |
| \d | 匹配从 0 到 9 中的任意一个数字字符（等价于 [0-9]） | 不支持 | 不支持 | \d | \d |
| \D | 匹配非数字字符（等价于 [^0-9]） | 不支持 | 不支持 | \D | \D |
| \S | 匹配任何非空白字符（等价于[^\f\n\r\t\v]） | 不支持 | 不支持 | \S | \S |
| \s | 匹配任何空白字符，包括空格、制表符、换页符等等（等价于[ \f\n\r\t\v]） | 不支持 | 不支持 | \s | \s |
| \W | 匹配任何非单词字符 (等价于[^A-Za-z0-9_]) | \W | \W | \W | \W |
| \w | 匹配包括下划线的任何单词字符（等价于[A-Za-z0-9_]） | \w | \w | \w | \w |
| \B | 匹配非单词边界，例如：’er\B’ 能匹配 “verb” 中的’er’，但不能匹配”never” 中的’er’ | \B | \B | \B | \B |
| \b | 匹配一个单词边界，也就是指单词和空格间的位置，例如： ‘er\b’ 可以匹配”never” 中的 ‘er’，但不能匹配 “verb” 中的’er’ | \b | \b | \b | \b |
| \t | 匹配一个横向制表符（等价于 \x09和 \cI） | 不支持 | 不支持 | \t | \t |
| \v | 匹配一个垂直制表符（等价于 \x0b和 \cK） | 不支持 | 不支持 | \v | \v |
| \n | 匹配一个换行符（等价于 \x0a 和\cJ） | 不支持 | 不支持 | \n | \n |
| \f | 匹配一个换页符（等价于\x0c 和\cL） | 不支持 | 不支持 | \f | \f |
| \r | 匹配一个回车符（等价于 \x0d 和\cM） | 不支持 | 不支持 | \r | \r |
| \\ | 匹配转义字符本身”\” | \\ | \\ | \\ | \\ |
| \cx | 匹配由 x 指明的控制字符，例如：\cM匹配一个Control-M 或回车符，x 的值必须为A-Z 或 a-z 之一，否则，将 c 视为一个原义的 ‘c’ 字符 | 不支持 | 不支持 | \cx | |
| \xn | 匹配 n，其中 n 为十六进制转义值。十六进制转义值必须为确定的两个数字长，例如：’\x41′ 匹配 “A”。’\x041′ 则等价于’\x04′ & “1”。正则表达式中可以使用 ASCII 编码 | 不支持 | 不支持 | \xn | |
| \num | 匹配 num，其中 num是一个正整数。表示对所获取的匹配的引用 | 不支持 | \num | \num | |
| [:alnum:] | 匹配任何一个字母或数字（[A-Za-z0-9]），例如：'[[:alnum:]] ‘ | [:alnum:] | [:alnum:] | [:alnum:] | [:alnum:] |
| [:alpha:] | 匹配任何一个字母（[A－Za－z]）， 例如：’ [[:alpha:]] ‘ | [:alpha:] | [:alpha:] | [:alpha:] | [:alpha:] |
| [:digit:] | 匹配任何一个数字（[0-9]），例如：'[[:digit:]] ‘ | [:digit:] | [:digit:] | [:digit:] | [:digit:] |
| [:lower:] | 匹配任何一个小写字母（[a-z]）， 例如：’ [[:lower:]] ‘ | [:lower:] | [:lower:] | [:lower:] | [:lower:] |
| [:upper:] | 匹配任何一个大写字母（[A-Z]） | [:upper:] | [:upper:] | [:upper:] | [:upper:] |
| [:space:] | 任何一个空白字符： 支持制表符、空格，例如：’ [[:space:]] ‘ | [:space:] | [:space:] | [:space:] | [:space:] |
| [:blank:] | 空格和制表符（横向和纵向），例如：'[[:blank:]]’ó'[\s\t\v]’ | [:blank:] | [:blank:] | [:blank:] | [:blank:] |
| [:graph:] | 任何一个可以看得见的且可以打印的字符（注意：不包括空格和换行符等），例如：'[[:graph:]] ‘ | [:graph:] | [:graph:] | [:graph:] | [:graph:] |
| [:print:] | 任何一个可以打印的字符（注意：不包括：[:cntrl:]、字符串结束符’\0’、EOF 文件结束符（-1）， 但包括空格符号），例如：'[[:print:]] ‘ | [:print:] | [:print:] | [:print:] | [:print:] |
| [:cntrl:] | 任何一个控制字符（ASCII 字符集中的前 32 个字符，即：用十进制表示为从 0 到31，例如：换行符、制表符等等），例如：’ [[:cntrl:]]’ | [:cntrl:] | [:cntrl:] | [:cntrl:] | [:cntrl:] |
| [:punct:] | 任何一个标点符号（不包括：[:alnum:]、[:cntrl:]、[:space:]这些字符集） | [:punct:] | [:punct:] | [:punct:] | [:punct:] |
| [:xdigit:] | 任何一个十六进制数（即：0-9，a-f，A-F） | [:xdigit:] | [:xdigit:] | [:xdigit:] | [:xdigit:] |
awk命令
awk支持运算和截取，……………………….
例：
#获取大于12点之后日志
[root@ffing test]# cat test1.log
2022-02-18 9:00:00 asedfsadf:aaa
ferror：aaaaa
2022-02-18 21:10:12 berer:bbb
ferror：bbbbbbbbbb
2022-02-18 10:00:23 cdfdf:ccc
i:cccccccccc
2022-02-19 13:00:45 der23:ccc
n:xxxdfd
2022-02-19 14:00:58 timeout
g:timeout
#awk以空格和：为分隔符，获取HH（小时）字段列，$2>12
[root@ffing test]# cat test1.log |awk -F " +|:" '$2>12{print}'
2022-02-18 21:10:12 berer:bbb
i:cccccccccc
2022-02-19 13:00:45 der23:ccc
n:xxxdfd
2022-02-19 14:00:58 timeout
g:timeout
#获取硬盘分区使用率大于50%的分区（awk支持运算比较）
[root@ffing_cn ~]# df -m
文件系统 1M-块 已用 可用 已用% 挂载点
devtmpfs 908 0 908 0% /dev
tmpfs 919 0 919 0% /dev/shm
tmpfs 919 1 919 1% /run
tmpfs 919 0 919 0% /sys/fs/cgroup
/dev/vda1 50268 29062 19060 61% /
tmpfs 184 0 184 0% /run/user/0
#获取硬盘分区使用率大于50%的分区（awk支持运算比较）
[root@ffing_cn ~]# df -m |awk -F " +|%" '$5>5{print}'
文件系统 1M-块 已用 可用 已用% 挂载点
/dev/vda1 50268 29063 19060 61% /
#不显示显示文件系统和挂载点(默认分隔符为空)$1=$NF=""
[root@ffing_cn ~]# df -m|awk '{print $1=$NF="",$0}'
1M-块 已用 可用 已用%
908 0 908 0%
919 0 919 0%
919 1 919 1%
919 0 919 0%
50268 29063 19060 61%
184 0 184 0%
#不显示显示文件系统和挂载点(更改分隔符为tab)
[root@ffing_cn ~]# df -m|awk 'OFS="\t"{print $1=$NF="",$0}'
1M-块 已用 可用 已用%
908 0 908 0%
919 0 919 0%
919 1 919 1%
919 0 919 0%
50268 29063 19060 61%
184 0 184 0%
#将%百分比放第一列
[root@ffing_cn ~]# df -m|awk '{print $5 "\t" $0}'
已用% 文件系统 1M-块 已用 可用 已用% 挂载点
0% devtmpfs 908 0 908 0% /dev
0% tmpfs 919 0 919 0% /dev/shm
1% tmpfs 919 1 919 1% /run
0% tmpfs 919 0 919 0% /sys/fs/cgroup
61% /dev/vda1 50268 29063 19060 61% /
0% tmpfs 184 0 184 0% /run/user/0
#将第二列求和
[root@ffing_cn ~]# df -m|awk '{sum+=$2};END{print sum}'
54118
#内存使用率：已使用内存/总内存
[root@ffing_cn ~]# free -m
total used free shared buff/cache available
Mem: 1837 601 487 37 749 1049
Swap: 3999 0 3999
#打印第二行
[root@ffing_cn ~]# free -m|awk 'NR==2'
Mem: 1837 609 473 38 754 1040
#过滤包含Mem的行
[root@ffing_cn ~]# free -m|awk '/Mem/'
Mem: 1837 614 468 38 755 1035
#awk浮点运算
[root@ffing_cn ~]# free -m|awk 'NR==2{print $3/$2*100}'
32.4986
#awk配合printf，保留两位小数（printf【%.2f保留2为小数】【%字符串】【\n换行】）
[root@ffing_cn ~]# free -m|awk 'NR==2{printf("%.2f %\n",$3/$2*100)}'
32.99%
####文件转置（纵列变横行）####
[root@ffing_cn ~]# cat test.txt
1 a x
2 b y
3 c z
#第一种使用awk + && （当你知道列数，且较少时使用&&）
[root@ffing_cn ~]# awk '{print $1}' test.txt|xargs;awk '{print $2}' test.txt|xargs;awk '{print $3}' test.txt|xargs
1 2 3
a b c
x y z
#第二种使用for+awk(awk -v 引用外部变量)
[root@huaweiyun ~]# for i in `seq $(cat test.txt|awk '{print NF}'|sort nr|head -1)` ;do cat test.txt|awk -v N=$i '{print $N}'|xargs ;done
1 2 3
a b c
x y z
#awk配合substr取字节（${}也可实现）
#连续格式的时间戳，
#取时间戳的"秒"数($NF最后一列，从1开始，2个字节)
[root@huaweiyun ~]# echo "01/Jan/2022_15:33:44AM"|awk -F ":" '{print substr($NF,1,2)}'
44
#取"分钟"数
[root@huaweiyun ~]# echo "01/Jan/2022:22:33:44AM"|awk -F ":" '{print $(NF-1)}'
33
#取“小时”数，这里使用length长度
#“length($1)获取$1的字节长度，再“-1”，即是倒数第二位
[root@huaweiyun ~]# echo "01/Jan/2022_15:33:44AM"|awk -F ":" '{print substr($1,length($1)-1)}'
15
#合并，取出“时”：“分”：“秒”
#第一种固定值
[root@huaweiyun ~]# echo "01/Jan/2022_15:33:44AM"|awk -F ":" '{print substr($1,length($1)-1) ":" $2 ":" substr($NF,1,2)}'
15:33:44
#第二种，通过NF匹配,这里注意length取值
[root@huaweiyun ~]# echo "01/Jan/2022_15:33:44AM"|awk -F ":" '{print substr($(NF-2),length($(NF-2))-1) ":" $(NF-1) ":" substr($NF,1,2)}'
15:33:44
#注：需要awk是取文件中的时间列，所以最后的通用取值命令就可以是“awk -F ":" '{print substr($(NF-2),length($(NF-2))-1) ":" $(NF-1) ":" substr($NF,1,2)}'
”
tr命令
[:alnum:] 所有的字母和数字 [:alpha:] 所有字母 [:digit:] 所有的数字 [:lower:] 所有的小写字符 [:upper:] 所有大写字母 [:blank:] 水平制表符，空白等 [:cntrl:] 所有控制字符 [:graph:] 所有可打印字符，不包括空格 [:print:] 所有可打印字符，包括空格 [:punct:] 所有的标点字符 [:space:] 所有的横向或纵向的空白 \\ 反斜杠 (第一个\转义) \t Ctrl-I tab键 \n Ctrl-J 新行 \a Ctrl-G 铃声 \b Ctrl-H 退格符 \f Ctrl-L 走行换页 \r Ctrl-M 回车 \v Ctrl-X 水平制表符
删除所有大写字母：tr -d [A-Z] 或使用tr -d [:upper:]
删除所有字母和数字:tr -d [A-z0-9] 或使用tr -d [:alnum:]
tr -s 【字符串】：压缩重复字符串
#查看test2.log
[root@ffing test]# cat test2.log
!@#$%^&*()_-=+~,./;'\<>?:"|[]{}
1234567890
abcdefghigklmn
ABCDEFG
#删除所有标点字符
[root@ffing test]# cat test2.log |tr -d [:punct:]
1234567890
abcdefghigklmn
ABCDEFG
#删除所有大写及标点符号
[root@ffing test]# cat test2.log |tr -d [A-Z][:punct:]
1234567890
abcdefghigklmn
#删除所有换行符
[root@ffing test]# cat test2.log |tr -d "\n"
!@#$%^&*()_-=+~,./;'\<>?:"|[]{}1234567890abcdefghigklmnABCDEFG[root@ffing test]#
发表评论