算法问题

今天碰到了一个问题:

有两个文本文件,一个有二百万的数据,一个有一百万的数据,我怎样求两个文本文件数据的交集呢?

1:我的思路首先是这样的,那少的数据(一百万的数据)逐个跟二百万的数据相比,相等的拿出来,然后我写了个小程 序

     跑了三个多小时,才出来五百多个。显然不能这样搞。

然后我们老大想了个算法,我真的很佩服:

1:首先把这两个数据去重,linus命令如下:uniq one.txt >one_uniq.txt, uniq two.txt>two_uniq.txt.

2:  然后把one_uniq.txt,two_uniq.txt放到一起取重复的,命令如下: cat one_uniq.txt two_uniq.txt|sort|uniq  -d>result.txt

result.txt里的数据即为结果,一共花了不到五秒钟的时间,这就是差距啊。

猜你喜欢

转载自yuehuahappy.iteye.com/blog/1528041