一、jieba的安装
1.jieba下载地址:链接:https://pan.baidu.com/s/1aZV4D_LTJV1g1W68e5I2pQ 密码:jnxv
2.将下载后的压缩包解压到你的python目录:
我用的是python37:目录是C:\Python\Python37\jieba-0.39
3.利用cmd中的pip命令,先利用cd C:\Python\Python37\jieba-0.39进入要安装的目录,
在执行以下指令 python setup.py install 安装完毕进入pycharm调试即可,
导入jieba :import jiea 如果没有错误,说明导入成功。
二、jieba的使用
(1)jieba分词三种模式
1,全模式:把句子中的所有可以成词的词语都扫描出来,
2, 精确模式:试图将文本最精确的分开,适合于做文本分析。
3,搜索引擎模式:在精确的基础上对长词进行进一步的切分。
(2)jieba的一个小例子
import jieba
sentence='刚刚开始写博客,谢谢大家支持'
jb1=jieba.cut(sentence,cut_all=True) #全模式
#jb2=jieba.cut(sentence,cut_all=False)#精准模式
#jb3=jieba.cut_for_search(sentence ) #搜索引擎模式
for item in jb1:
print(item)
全模式运行结果:
精准模式运行结果:
搜索引擎模式运行结果:
结巴分词中默认使用精准模式
(3)如何得到词语的词性
import jieba.posseg
sentence='刚刚开始写博客,谢谢大家支持'
wjb4=jieba.posseg.cut(sentence)
#.flag词性 .word词语
for i in jb4:
print(i.word+'-----'+i.flag)
运行结果:
注意事项:
a—形容词 c—连词 d—副词 e—叹词 f—方位词 i—成语 m—数词
n—名词 nr—人名 ns—地名 nt—机构团体 nz—其他专有名词
p—介词 r—代词 t—时间 u—助词 v—动词 vn—动名词
x—标点 un—未知词语
当结果的词性不准时,可自行在jieba词典中添加自己的词汇。添加步骤如下:
扫描二维码关注公众号,回复:
2687955 查看本文章
- 在C:\Python\Python37\jieba-0.39\jieba目录中添加一个新的dict1.txt,并写入你添加的词汇。保存时把文件编码改为utf-8。
- 写入以下代码导入你自己的词汇
import jieba.posseg
jieba.load_userdict('C:/Python/Python37/jieba-0.39/jieba/dict1.txt')
sentence='我喜欢遮天中的叶凡,他很善长看源石'
jb=jieba.posseg.cut(sentence)
for i in jb:
print(i.word + '-----' + i.flag)
运行结果:
(3)如何得到词语的词性
1.更改词频:
sentence='我们喜欢做云计算'
jb1=jieba.cut(sentence )
for i in jb1 :
print(i)
#我们这里把云计算做成一个词
jieba.add_word ('云计算')
jb1=jieba.cut(sentence )
for i in jb1 :
print(i)
运行结果:
2.返回文本中比较火的词语
import jieba.analyse
tag=jieba.analyse.extract_tags(sentence,3) #返回三个词
print(tag)
运行结果:
3.返回词语位置
jb2=jieba.tokenize(sentence )
for item in jb2:
print(item)
运行结果:
三、提取遮天关键词
data=open('C:/Users/dell/Desktop/python练习/遮天.txt',encoding='utf-8').read()
tag=jieba.analyse.extract_tags(data,20)
print(tag)
运行结果:
jieba的用法就暂时说到这里了,如果有什么问题欢迎大家留言讨论,谢谢支持!