问题描述：对于一个文本集合，把相似的单词进行归类。

(相似单词定义：两个单词只有一个字母不一样!)

方法一：暴力穷举法

遍历文本中的每个单词，找出在文本中与其相似的单词，算法的时间复杂度是o(n2)。对于常见的英文词典，差不多有将近20000个单词，那么需要经过4亿次运算，时间惊人，实际行不通。

方法二：正则表达式

从相似单词的特点入手。
‘son’和‘sun’都可以用正则表达式中的‘s.n’来表示，其中‘.’在正则表达式中可以代表任意的符号。

我们使用一个字典结构：key是正则字符串 ，value：是相似单词的集合。

举个例子：对于单词’son’，那么符合它的正则匹配有：‘.on’、‘s.n’、‘so.’，那么字典中，分别是：key:’.on’，value:‘son’；key:‘s.n’，value:‘son’；key:‘so.’，value:‘son’。对于单词‘sun’，进行同样的计算，同时字典开始更新：key:’.un’，value:‘sun’；key:‘s.n’，value:[‘son’,‘sun’]；key:‘so.’，value:‘son’；key:‘su.’，value:‘sun’。这样遍历文本，最后的时间复杂度是o(n)。

代码：

from collections import defaultdict  #使用了默认字典
import re


words_dict = defaultdict(set)        #词典的value值默认为set（非重复的相似单词集合，例如‘son’和‘sun’）

def cal_similar_words(word):
    if len(word) != 0:
        for item in word:
            pattern = word.replace(item, '.')
            words_dict[pattern].add(word)

#找出《老人与海》简介中相似的单词
with open(r'C:\Users\13721\Documents\Old_Man_and_Sea.txt') as file:
    words_list = re.findall(r'\w+', file.read())

for item in set(words_list):
    cal_similar_words(item.lower())
	
for i in words_dict.values():
    if len(i) >= 2:  # 打印长度不小于2的values，里面是相似单词
        print(i)

运行结果

返回顶部

{'84', '87'}
{'shark', 'shack'}
{'some', 'home'}
{'sail', 'said'}
{'in', 'an', 'on'}
{'of', 'on'}
{'feet', 'feed'}
{'in', 'is', 'it'}
{'gear', 'near'}
{'his', 'has'}
{'has', 'had'}
{'most', 'mast'}
{'oar', 'far'}
{'for', 'far'}
{'to', 'so', 'no'}
{'end', 'and'}
{'and', 'any'}
{'now', 'how'}
{'now', 'new'}
{'a', 's'}
{'sail', 'tail'}
{'it', 'at'}
{'him', 'his'}
{'he', 'be'}
{'by', 'be'}
{'an', 'at', 'as'}
{'day', 'way'}
{'thus', 'this'}
{'is', 'as'}
{'line', 'life'}
{'out', 'but'}
{'takes', 'makes', 'wakes'}

欢迎关注，敬请点赞！
返回顶部