版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
uniq 命令用于检查及删除文本文件中重复出现的行，一般与 sort 命令结合使用。
4.1 目标
4.2路径
- 第一步：实现去重效果
- 第二步：不但去重，还要 统计出现的次数
4.3 实现
第一步：实现去重效果
| 命令 | 英文 | 含义 |
|---|---|---|
uniq [参数] 文件 |
unique 唯一 | 去除重复行 |
# 准备内容
[root@hadoop01 export]# cat 5.txt
张三 98
李四 100
王五 90
赵六 95
麻七 70
李四 100
王五 90
赵六 95
麻七 70
# 排序
[root@hadoop01 export]# cat 5.txt | sort
李四 100
李四 100
麻七 70
麻七 70
王五 90
王五 90
张三 98
赵六 95
赵六 95
# 去重
[root@hadoop01 export]# cat 5.txt | sort | uniq
李四 100
麻七 70
王五 90
张三 98
赵六 95
第二步：不但去重，还要 统计出现的次数
| 参数 | 英文 | 含义 |
|---|---|---|
-c |
count | 统计每行内容出现的次数 |
[root@hadoop01 export]# cat 5.txt | sort | uniq -c
2 李四 100
2 麻七 70
2 王五 90
1 张三 98
2 赵六 95
4.4 小结
- 通过
uniq [选项] 文件就可以完成 去重行 和 统计次数