工作中经常会碰到要拉取数据情况,有了数据之后做一个简单的处理。
记录一下最常用到的做去重的操作
假设有文件list1
1
1
2
2
3
3
4
只用一条命令就能做去重的操作
cat list1 | uniq -u
结果会显示一个 4
当然,如果要筛选出有过重复的数字,只要修改一个参数
cat list1 | uniq -d
结果就是 1 2 3
那么,如果想针对多个文件处理呢, 其实也是一条语句就能解决了
cat list1 list2 list3 | sort | uniq -u
这样就能把这些文件中只出现一次的筛选出来。
所以,求文件的交集、并集也就很简单了
并集:
cat $file1 $file2 | sort | uniq
交集:
cat $file1 $file2 | sort | uniq -d
当前,求交并集的前提是这些文件里边的值都是唯一的, 如果不唯一,就得用其他方法了,不赘述。