大数量数据进行聚类排重讨论

在项目开发中,用户需要在数据库导入大量在线商户信息,但是由于每个商户信息是通过外包采集员进行采集,所以存在商户信息重复的问题。所以,用户要求到导入EXCEL文件时操作时,先判断数据库中是否存在和EXCEL文件相似记录,如果有相似记录需要把正式信息和导入信息合并到一个文件中,用户导出进行修改。

相似数据实例如下:

名称                    地址

北京视频影像公司 北京市朝阳区八里桥221号

视频影像公司 北京市朝阳区八里桥221号

北京视频影像公司人力资源部 北京市八里桥221号

请大家讨论如何解决。现在系统对数据库做了搜索索引,可以进行搜索。

猜你喜欢

转载自zhb01.iteye.com/blog/1576858