python移除文本中英文,数字和字符

在中文的自然语言处理,英文、数字和字符是无法在词典中对比成功的,所以需要消除掉。

方法如下:

首先引入re库:

import re

 然后使用sub()函数先消除字母和数字

re.sub('[a-zA-Z0-9]','',data)
#第一个参数是搜索a-z,A-Z,0-9
#第二个参数是''用于替换第一个参数
#第三个参数是读取到的文本

接着在消除字符

re.sub('\W','',data)
#用去替换特殊字符,即非字母、非数字、非汉字、非_

 处理前 文本长度660331

 

处理过后 文本长度334183

 

扫描二维码关注公众号,回复: 15278129 查看本文章

猜你喜欢

转载自blog.csdn.net/Wuyeyu2001/article/details/127324156
今日推荐