在使用python的元素去重时，可以直接使用python的set()函数对字符串或者列表去重，但是set()对列表去重是将列表的每个元素当作整体进行去重，如果我们想根据列表元素的部分进行去重，set方法就不适用了。
举个例子，列表含有四个元素，目的是根据"–“左边的元素进行去重，保证”–“左边的元素唯一，右边只需要任意一个字符串对应左边元素的即可。
11—as
12–sa
12–qw
11–sa
使用set()去重仍将得到四个元素，我们使用python的字典作为辅助工具来操作：
建立一个空字典，遍历list,将”–“左边的元素为key，如果在字典的keys()中没有找到，就将”–"右边的元素作为value写入字典，最终还有两个元素：
11–as
12–sa

实际操作一下，这个txt文件中，"–"左边为MD5值，右边为小数，目的保证MD5唯一，小数只需要一个小数对应一个MD5即可：

path='D:/Python_Program/test/output.txt'
with open(path) as ff:
    tmp = ff.readlines()  # 得到所有的MD5和随机数

print("一共含有{}个元素".format(len(tmp)))
zi={
    
    }
for x in tmp:
    if x[:40] not in zi.keys():  # 根据MD5去重
        zi[x[:40]]=x[40:]
print("去重后还有{}个元素".format(len(zi)))

filepath='D:/Python_Program/test/result.txt'
with open(filepath, 'w') as fw:
    for key in zi:
        tt=key+zi[key]
        fw.write(tt)

输出为：

一共含有322个元素
去重后还有294个元素