英文文本分词
1、知识准备
(1)Python中的split()函数的用法
了解split()的基本用法
(2)python多个分割符split字符串
了解re库的部分用法
Python strip() 方法用于移除字符串头尾指定的字符(默认为空格或换行符)或字符序列。
注意:该方法只能删除开头或是结尾的字符,不能删除中间部分的字符。
2、实践代码
将英文句子分词,并记录通过字典的方式记录每个词语的出现频数。
import re
text="Today I will do what others won’t,\
so tomorrow I can accomplish what others can’t. "
array=re.split('[ ,.]',text)
print(array)
dic={}
for i in array:
if i not in dic:
dic[i] = 1
else:
dic[i] += 1
print(dic)
3、实践代码结果