收藏了1万条url,现在给你一条url,如何找出相似的url
使用Levenshtein(莱文斯坦)编辑距离来实现相似度算法 所谓Levenshtein距离,是指两个字串之间,由一个转成另一个所需的最少编辑操作次数,操作包括一切你使用的手段将一个字符串转换成另一个字符串,比如插入一个字符、删除一个字符..等等;操作次数越少,说明两个字符串距离Levenshtein Distance越小,表示两个字符串越相似。
定义相似度=1-莱文斯坦距离/两个url的最大长度
1、UrlSimilar.java
package com.week.similar; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.util.Scanner; public class UrlSimilar { public static void main(String[] args) { String url = "www.tencent.com"; String kFile = "url.txt"; FileInputStream inputStream = null; Scanner sc = null; try { inputStream = new FileInputStream(kFile); sc = new Scanner(inputStream, "UTF-8"); //我们将使用Java.util.Scanner类扫描文件的内容,一行一行连续地读取,允许对每一行进行处理,而不保持对它的引用。总之没有把它们存放在内存中: while (sc.hasNextLine()) { String line = sc.nextLine(); if (line != null) { Levenshtein.levenshtein(url,line); } } } catch (FileNotFoundException e) { e.printStackTrace(); } finally { if (inputStream != null) { try { inputStream.close(); } catch (IOException e) { e.printStackTrace(); } } if (sc != null) { sc.close(); } } System.out.println("The end!"); } }
2、Levenshtein.java
package com.week.similar; public class Levenshtein { public static void main(String[] args) { //要比较的两个字符串 String str1 = "今天星期四"; String str2 = "今天是星期五"; levenshtein(str1,str2); } /** * DNA分析 拼字检查 语音辨识 抄袭侦测 * */ public static void levenshtein(String str1,String str2) { //计算两个字符串的长度。 int len1 = str1.length(); int len2 = str2.length(); //建立上面说的数组,比字符长度大一个空间 int[][] dif = new int[len1 + 1][len2 + 1]; //赋初值,步骤B。 for (int a = 0; a <= len1; a++) { dif[a][0] = a; } for (int a = 0; a <= len2; a++) { dif[0][a] = a; } //计算两个字符是否一样,计算左上的值 int temp; for (int i = 1; i <= len1; i++) { for (int j = 1; j <= len2; j++) { if (str1.charAt(i - 1) == str2.charAt(j - 1)) { temp = 0; } else { temp = 1; } //取三个值中最小的 dif[i][j] = min(dif[i - 1][j - 1] + temp, dif[i][j - 1] + 1, dif[i - 1][j] + 1); } } System.out.println("字符串\""+str1+"\"与\""+str2+"\"的比较"); //取数组右下角的值,同样不同位置代表不同字符串的比较 System.out.println("差异步骤:"+dif[len1][len2]); //计算相似度 float similarity =1 - (float) dif[len1][len2] / Math.max(str1.length(), str2.length()); System.out.println("相似度:"+similarity); } //得到最小值 private static int min(int... is) { int min = Integer.MAX_VALUE; for (int i : is) { if (min > i) { min = i; } } return min; } }