在自然语言处理中,对语料进行分词是其中最基础和关键的一步。在python中常用的分词包有jieba,snownlp,thulac,pkuseg等。具体的使用可以参考官方文档。
jieba:https://github.com/fxsjy/jieba
pkuseg:https://github.com/lancopku/pkuseg-python
snownlp:https://github.com/isnowfy/snownlp
在自然语言处理中,对语料进行分词是其中最基础和关键的一步。在python中常用的分词包有jieba,snownlp,thulac,pkuseg等。具体的使用可以参考官方文档。
jieba:https://github.com/fxsjy/jieba
pkuseg:https://github.com/lancopku/pkuseg-python
snownlp:https://github.com/isnowfy/snownlp