在统计某些数据的时候,文件中往往存在一些重复的行,那如何去掉这些重复的行呢?
用强大的awk可以轻松实现文件内容行去重。
awk '!a[$0]++' 文件
例如文件 123.txt 的内容是
1
1
2
2
3
3
awk '!a[$0]++' 123.txt
将会输出
1
2
3
=======================
统计重复行
sort i_match_09_20131029.dat | uniq -dc
在统计某些数据的时候,文件中往往存在一些重复的行,那如何去掉这些重复的行呢?
用强大的awk可以轻松实现文件内容行去重。
awk '!a[$0]++' 文件
例如文件 123.txt 的内容是
1
1
2
2
3
3
awk '!a[$0]++' 123.txt
将会输出
1
2
3
=======================