sort 排序 -u 去除重复的行 -r降序(默认升序) 重定向输入文件
-n 按照数字排序
-t选项按照什么字符来分割 -k选项:分割后取第几个字段排序
-f 忽略大小写
-b 忽略前面的空白符,从第一个可见的字符比较
测试数据:
google 110 5000 baidu 100 5000 guge 50 3000 sohu 100 4500 xiaomi 10 20 huawei 20 33
数据按照空格分割后取第二列 按照数字升序排列
sort -n -t ' ' -k 2 b.txt
uniq 对连续相同的数据去重和统计 (一般先排序在统计,这样相同的就到一起了 )
uniq命令不加任何参数,仅显示连续重复的行一次
-c 行首显示本行出现的重复次数
-d 只显示重复的
-u 只显示不重复的行
wc 统计文件中数据:
-l 统计行数。
-L 打印最长行的长度。
如:下面是对文件fs_sort.txt排序去重后统计重复数据的行数
cat fs_sort.txt| sort | uniq -d | wc -l
查看两个文件相同的行和不同的行的数据:
两个文件中相同的行: grep -Ff 222.txt 111.txt 两个文件中不同的行: grep -vFf 222.txt 111.txt