在中文的自然语言处理,英文、数字和字符是无法在词典中对比成功的,所以需要消除掉。
方法如下:
首先引入re库:
import re
然后使用sub()函数先消除字母和数字
re.sub('[a-zA-Z0-9]','',data)
#第一个参数是搜索a-z,A-Z,0-9
#第二个参数是''用于替换第一个参数
#第三个参数是读取到的文本
接着在消除字符
re.sub('\W','',data)
#用去替换特殊字符,即非字母、非数字、非汉字、非_
处理前 文本长度660331
处理过后 文本长度334183
扫描二维码关注公众号,回复:
15278129 查看本文章