Linux文本工具-cat-cut-paste;文本分析-sort-wc-uniq
阅读原文时间:2023年07月08日阅读:4

1.1 查看文本文件内容  cat

1.1.1 cat可以查看文本内容

cat [OPTION]… [FILE]…

常见选项

-E: 显示行结束符$
-A: 显示所有控制符
-n: 对显示出的每一行进行编号
-b: 非空行编号
-s: 压缩连续的空行成一行

1.1.2  nl

显示行号,相当于cat  -b

[10:00:37 root@centos8 ~]#nl /etc/fstab

 1    #  
 2    # /etc/fstab  
 3    # Created by anaconda on Tue Apr  5 08:42:34 2022  
 4    #  
 5    # Accessible filesystems, by reference, are maintained under '/dev/disk/'.  
 6    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info.  
 7    #  
 8    # After editing this file, run 'systemctl daemon-reload' to update systemd  
 9    # units generated from this file.  
10    #  
11    UUID=7a405199-a904-4290-89a3-72992b4ad489 /                       xfs     defaults        0 0  
12    UUID=6c58d4aa-0c80-4e0b-b372-0a2187033d23 /boot                   ext4    defaults        1 2  
13    UUID=2dd6f870-9df8-47ec-a4fc-b8a01878f4e0 /data                   xfs     defaults        0 0  
14    UUID=27f69466-124d-4124-aab8-85f247d76d57 none                    swap    defaults        0 0  

[10:00:46 root@centos8 ~]#cat -b /etc/fstab

 1    #  
 2    # /etc/fstab  
 3    # Created by anaconda on Tue Apr  5 08:42:34 2022  
 4    #  
 5    # Accessible filesystems, by reference, are maintained under '/dev/disk/'.  
 6    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info.  
 7    #  
 8    # After editing this file, run 'systemctl daemon-reload' to update systemd  
 9    # units generated from this file.  
10    #  
11    UUID=7a405199-a904-4290-89a3-72992b4ad489 /                       xfs     defaults        0 0  
12    UUID=6c58d4aa-0c80-4e0b-b372-0a2187033d23 /boot                   ext4    defaults        1 2  
13    UUID=2dd6f870-9df8-47ec-a4fc-b8a01878f4e0 /data                   xfs     defaults        0 0  
14    UUID=27f69466-124d-4124-aab8-85f247d76d57 none                    swap    defaults        0 0  

[10:01:14 root@centos8 ~]#

1.1.3  tac

逆向显示文本内容

[10:03:11 root@centos8 ~]#nl /etc/fstab|tac
14 UUID=27f69466-124d-4124-aab8-85f247d76d57 none swap defaults 0 0
13 UUID=2dd6f870-9df8-47ec-a4fc-b8a01878f4e0 /data xfs defaults 0 0
12 UUID=6c58d4aa-0c80-4e0b-b372-0a2187033d23 /boot ext4 defaults 1 2
11 UUID=7a405199-a904-4290-89a3-72992b4ad489 / xfs defaults 0 0
10 #
9 # units generated from this file.
8 # After editing this file, run 'systemctl daemon-reload' to update systemd
7 #
6 # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info.
5 # Accessible filesystems, by reference, are maintained under '/dev/disk/'.
4 #
3 # Created by anaconda on Tue Apr 5 08:42:34 2022
2 # /etc/fstab
1 #

[10:03:56 root@centos8 ~]#

1.1.4  rev

将同一行的内容逆向显示

[10:06:10 root@centos8 /data]#cat f1.txt
1 2 3 4 5 6 7

a b c d e f g
[10:06:22 root@centos8 /data]#cat f1.txt |rev
7 6 5 4 3 2 1

g f e d c b a

1.2  按列抽取文本cut

  cut 命令可以提取文本文件或STDIN数据的指定列

  格式

cut [OPTION]… [FILE]…

常用选项

-d DELIMITER: 指明分隔符,默认tab

-f FILEDS:
#: 第#个字段,例如:3
#,#[,#]:离散的多个字段,例如:1,3,6
#-#:连续的多个字段, 例如:1-6
混合使用:1-3,7

-c 按字符切割

--output-delimiter=STRING指定输出分隔符

示例:

passwd文件取出第一列用户名

[10:11:47 root@centos8 /data]#cut -d":" -f1 /etc/passwd
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
operator
games
ftp
nobody
dbus
systemd-coredump
systemd-resolve
tss
polkitd
geoclue

[10:17:11 root@centos8 /data]#ifconfig | head -n2| tail -n1 |tr -s " "|cut -d" " -f3
192.168.1.85
[10:17:39 root@centos8 /data]#

1.3 合并多个文件paste

  paste合并多个问价你同行号的列到一行

  格式 

paste [OPTION]… [FILE]…

常用选项

-d #分隔符:指定分隔符,默认用TAB
-s #所有行合成一行显示

示例:

[10:28:27 root@centos8 /data]#paste f1.txt
1 2 3 4 5 6 7

a b c d e f g
[10:28:34 root@centos8 /data]#paste -s f1.txt
1 2 3 4 5 6 7 a b c d e f g
[10:28:43 root@centos8 /data]#

[10:33:32 root@centos8 /data]#paste f1.txt seq.log
1 2 3 4 5 6 7 1
2
a b c d e f g 3
4
5
6
7
8
9
10
[10:33:55 root@centos8 /data]#paste -d";" f1.txt seq.log
1 2 3 4 5 6 7 ;1
;2
a b c d e f g;3
;4
;5
;6
;7
;8
;9
;10

  2.1.1  wc

  wc命令可用于统计文件的行总数,单词总数,字节总数和字符总数

  可以对文件或STDIN中的数据统计

  常用选项

-l 只计数行数
-w 只计数单词总数
-c 只计数字节总数
-m 只计数字符总数
-L 显示文件中最长行的长度

示例

[10:34:04 root@centos8 /data]#wc /etc/fstab
15   78   709   /etc/fstab
行数 单词数 字节数

  2.1.2  sort

  sort:文本排序;把整理过的文本显示在STDOUT,不改变原始文件

  格式:

sort [options] file(s)

常用选项

-r 执行反方向(由上至下)整理
-R 随机排序
-n 执行按数字大小整理
-h 人类可读排序,如: 2K 1G
-f 选项忽略(fold)字符串中的字符大小写
-u 选项(独特,unique),合并重复项,即去重
-t c 选项使用c做为字段界定符
-k # 选项按照使用c字符分隔的 # 列来整理能够使用多次

默认是把相同的字符排序在一起

[10:48:15 root@centos8 /data]#cat seq.log
1
2
3
4
5
6
7
8
9
1
10
11
2
12
8
13
9
14
15
[10:48:21 root@centos8 /data]#cat seq.log |sort
1
1
10
11
12
13
14
15
2
2
3
4
5
6
7
8
8
9
9

[10:49:44 root@centos8 /data]#cat seq.log |sort -u
1
10
11
12
13
14
15
2
3
4
5
6
7
8
9

  2.1.3  uniq

  uniq命令从输入中删除前后相接的重复的行

  格式:

uniq [OPTION]… [FILE]…

常见选项

-c: 显示每行重复出现的次数
-d: 仅显示重复过的行
-u: 仅显示不曾重复的行

uniq常和sort 命令一起配合使用:

  示例:

[10:50:10 root@centos8 /data]#cat seq.log |sort | uniq -c
2 1
1 10
1 11
1 12
1 13
1 14
1 15
2 2
1 3
1 4
1 5
1 6
1 7
2 8
2 9

6、统计出/etc/passwd文件中其默认shell为非/sbin/nologin的用户个数,并将用户都显示出来

7、查出用户UID最大值的用户名、UID及shell类型

练习脚本写法

[14:48:51 root@centos8 /data/bashs]#cat user.sh
#!/bin/bash
cat /etc/passwd |cut -d":" -f3|sort -nr|head -1 > /dev/null
maxUID=`grep 65534 /etc/passwd | cut -d":" -f1,3,7`
echo "UID最大值的用户:$maxUID"
[14:52:53 root@centos8 /data/bashs]#bash user.sh
UID最大值的用户:nobody:65534:/sbin/nologin

8、统计当前连接本机的每个远程主机IP的连接数,并按从大到小排序