Linux让四剑客更加强大的 cut命令、sort命令、uniq命令

Linux让四剑客更加强大的 cut命令、sort命令、uniq命令

cut命令

含义 正如cut的中文意思，cut的工作就是“剪”，具体来说是在文件负责剪切数据用的，它以每一行为一个处理对象，与sed的机制是一样的。

剪切依据 cut命令主要是接受三个定位方法：

第一，字节（bytes），用选项​​-b​​第二，字符（characters），用选项​​-c​​第三，域（fields），用选项​​-f​​

语法格式

cut [-bn] [file] 或 cut [-c] [file] 或 cut [-df] [file]

使用说明 cut命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。 如果不指定 File 参数，cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一。 主要参数

​​-b​​​ ：以​​字节​​为单位进行分割。这些字节位置将忽略多字节字符边界，除非也指定了 -n 标志。​​-c​​​ ：以​​字符​​为单位进行分割。​​-d​​ ：自定义分隔符，默认为制表符。​​-f​​​ ：与​​-d​​一起使用，指定显示哪个区域。​​-n​​​ ：取消分割多字节字符。仅和​​-b​​​ 标志一起使用。如果字符的最后一个字节落在由 -b 标志的 List 参数指示的范围之内，该字符将被写出；否则，该字符将被排除。

常用示例： “字节”定位中，提取第1到第5和第10个字节，-b支持形如1-5的写法，而且多个定位之间用逗号隔开 注意，cut命令如果使用了-b选项，那么执行此命令时，cut会先把-b后面所有的定位进行从小到大排序，然后再提取。

示例1：提取第1到第5字节和第10个字节的内容

[root@moli_linux1 ~]$ echo "abcde12345" | cut -b 1-5,10abcde5

示例2：-3表示从第1个字节到第3个字节，3-表示从第3个字节到行尾

[root@moli_linux1 ~]$ echo "abcde54321" | cut -b -3abc[root@moli_linux1 ~]$ echo "abcde54321" | cut -b 3-cde54321

示例3：多字节字符处理 1个空格算1个字节，而1个汉字算3个字节，因此汉字是多字节字符.遇到多字节字符可以使用​​​-c​​​选项，也可以使用​​-b​​​选项，不过要结合​​-n​​​选项，​​-n​​选项告诉cut命令不要将多字节字符拆开。

[root@moli_linux1 ~]$ cat cut_test2.txt 星期一aa星期二bb星期三cc[root@moli_linux1 ~]$ cut -b 3 cut_test2.txt # 因为没加-n选项，因此将"星"字给拆分了.. [root@moli_linux1 ~]$ cut -nb 3 cut_test2.txt # 切割第3个字符一二三[root@moli_linux1 ~]$ cut -c 3 cut_test2.txt 一二三[root@moli_linux1 ~]$ cut -c 4,5 cut_test2.txt aabbcc[root@moli_linux1 ~]$ cut -nb 4,5 cut_test2.txt aabbcc

示例4：对于非固定格式的文档，使用-f选项来定义域来切割文件

[root@moli_linux1 ~]$ head -n 5 /etc/passwd > cut_test.txt[root@moli_linux1 ~]$ cat cut_test.txt root:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologinadm:x:3:4:adm:/var/adm:/sbin/nologinlp:x:4:7:lp:/var/spool/lpd:/sbin/nologin[root@moli_linux1 ~]$ cut -d ":" -f 1-3,5 cut_test.txt root:x:0:rootbin:x:1:bindaemon:x:2:daemonadm:x:3:admlp:x:4:lp

上面的​​cut -d ":" -f 1-3,5 cut_test.txt ​​​中，​​-d​​​选项指定:为分割符，每个分隔符作为一个域，​​-f​​后面的数字指定切割哪个域，这里1-3,5表示截取第1,2,3和第5个域。

[root@localhost ~]# echo 192.168.179.100|cut -d"." -f1192[root@localhost ~]# echo 192.168.179.100|cut -d"." -f2168[root@localhost ~]# echo 192.168.179.100|cut -d"." -f3179[root@localhost ~]# echo 192.168.179.100|cut -d"." -f4100

sort命令

说明 sort命令将文件进行排序，并将排序结果标准输出。sort命令既可以从特定的文件，也可以从stdin中获取输入。

工作原理 sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。

语法

sort(选项)(参数)

常用选项

​​-u​​:unique 唯一，排序并且排除重复项​​-n​​: number 按照数字进行排序，默认数字会被当作字符串进行比较，字符或者其他特殊符号会被当做0排在数字前面​​-r​​:反向排序​​-b​​:忽略每行前面开始出的空格字符

示例1：-u选项

[root@moli_linux1 ~]$ cat sort_test.txt helloworld>>>hello12345shell??? have a space[root@moli_linux1 ~]$ sort -u sort_test.txt # 去除重复hello并排序>>>???12345 have a spacehelloshellworld

示例2：-n选项。按照数字进行排序，默认数字会被当作字符串进行比较，字符或者其他特殊符号会被当做0排在数字前面

[root@moli_linux1 ~]$ cat sort_test2.txt 987124123234???hello123[root@moli_linux1 ~]$ sort -n sort_test2.txt ???hello123123124234987

示例3：反向排序​​-r​​

[root@moli_linux1 ~]$ cat sort_test2.txt 987124123234???hello123[root@moli_linux1 ~]$ sort -rn sort_test2.txt 987234124123123hello???

uniq命令

说明 uniq命令用于报告或忽略文件中的重复行，一般与sort命令结合使用。对于uniq来说，去除重复的内容，内容之间必须相邻，不然无法去除。因此多先用sort排序，再用uniq去重。

语法

uniq(选项)(参数)

常用选项

​​-c​​:在每列旁边显示该行重复出现的次数​​-d​​: 仅显示重复出现的行列；

示例1

[root@moli_linux1 ~]$ cat uniq.txt helloworldhellopython1123[root@moli_linux1 ~]$ uniq uniq.txt # 只会去除相邻的重复内容数字1，不相邻的重复内容hello不会被删除helloworldhellopython123

示例2，结合sort删除所有重复内容

[root@moli_linux1 ~]$ sort uniq.txt |uniq123hellopythonworld

示例3：统计各行在文件中出现的次数

[root@moli_linux1 ~]$ sort uniq.txt |uniq -c 2 1 1 2 1 3 2 hello 1 python 1 world

示例4：找出文件中重复的行

[root@moli_linux1 ~]$ sort uniq.txt |uniq -d1hello

总结：这三个命令经常在shell脚本中使用，除了grep,sed,awk三个之外，也需要熟练掌握。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。