1、nltk介绍
NLTK(Natural Language Toolkit)是一个用于自然语言处理和文本分析的 Python 库。
NLTK 支持众多自然语言处理任务,例如文本分类、语法分析、词性标注、文本语料库处理等。
2、nltk安装
pip install nltk
3、nltk_data安装
wget https://gitcode.net/mirrors/nltk/nltk_data/-/archive/gh-pages/nltk_data-gh-pages.zip
unzip nltk_data-gh-pages.zip
4、查看文件检索路径
新建py文件:
import nltk
nltk.data.find('.')
执行程序:
5、将词库放到搜索路径
将packages路径下的文件放到上面程序报错的任何一个路径下都可以。
cp -R nltk_data-gh-pages/packages/* /root/nltk_data/
注意:下面一步操作很重要!!!
找到 nltk-data 中 punkt 所在目录:
将punkt.zip压缩包进行加压,然后再将其删除即可!
6、nltk库测试
python示例代码:
import nltk
# 下载词性标注器
#nltk.download('averaged_perceptron_tagger')
text = "I love natural language processing"
tokens = nltk.word_tokenize(text)
tags = nltk.pos_tag(tokens)
# 输出分类结果
for word, pos in tags:
print(word, pos)
参考博文:
Resource punkt not found.&&nltk.download()下载失败_punkt.zip 无法下载_IT之一小佬的博客-CSDN博客