全文共1552个字,7张图,预计阅读时间8分钟。
训练一个聊天机器人的很重要的一步是词向量训练,无论是生成式聊天机器人还是检索式聊天机器人,都需要将文字转化为词向量,时下最火的词向量训练模型是word2vec,所以,今天小编文文带你使用维基百科训练词向量。
上一步我们已经开始训练词向量,但是对于模型的参数并没有介绍,我们先来看一下源代码:
class gensim.models.word2vec.Word2Vec(sentences=None,size=100,alpha=0.025,window=5, min_count=5, max_vocab_size=None, sample=0.001,seed=1, workers=3,min_alpha=0.0001, sg=0, hs=0, negative=5, cbow_mean=1, hashfxn=<built-in function hash>,iter=5,null_word=0, trim_rule=None, sorted_vocab=1, batch_words=10000)
参数含义如下(转自http://blog.csdn.net/szlcw1/article/details/52751314):
· sentences:可以是一个·ist,对于大语料集,建议使用BrownCorpus,Text8Corpus或·ineSentence构建。
· sg: 用于设置训练算法,默认为0,对应CBOW算法;sg=1则采用skip-gram算法。
· size:是指特征向量的维度,默认为100。大的size需要更多的训练数据,但是效果会更好. 推荐值为几十到几百。
· window:表示当前词与预测词在一个句子中的最大距离是多少
· alpha: 是学习速率
· seed:用于随机数发生器。与初始化词向量有关。
· min_count: 可以对字典做截断. 词频少于min_count次数的单词会被丢弃掉, 默认值为5
· max_vocab_size: 设置词向量构建期间的RAM限制。如果所有独立单词个数超过这个,则就消除掉其中最不频繁的一个。每一千万个单词需要大约1GB的RAM。设置成None则没有限制。
· sample: 高频词汇的随机降采样的配置阈值,默认为1e-3,范围是(0,1e-5)
· workers参数控制训练的并行数。
· hs: 如果为1则会采用hierarchica·softmax技巧。如果设置为0(defau·t),则negative sampling会被使用。
· negative: 如果>0,则会采用negativesamp·ing,用于设置多少个noise words
· cbow_mean: 如果为0,则采用上下文词向量的和,如果为1(defau·t)则采用均值。只有使用CBOW的时候才起作用。
· hashfxn: hash函数来初始化权重。默认使用python的hash函数
· iter: 迭代次数,默认为5
· trim_rule: 用于设置词汇表的整理规则,指定那些单词要留下,哪些要被删除。可以设置为None(min_count会被使用)或者一个接受()并返回RU·E_DISCARD,uti·s.RU·E_KEEP或者uti·s.RU·E_DEFAU·T的函数。
· sorted_vocab: 如果为1(defau·t),则在分配word index 的时候会先对单词基于频率降序排序。
· batch_words:每一批的传递给线程的单词的数量,默认为10000
经过第6步,我们已经成功训练好了模型,并保存,想要测试训练的效果,我们首先要加载模型:
import gensim
model = gensim.models.Word2Vec.load('wiki.zh.text.model')
如何获取某个单词的词向量呢, 很简单,使用类似字典的方式即可:
print (model['计算机'])
由于我们在参数中设置的是将单词表示成500维的特征向量,所以输出是一个500维的向量
[ -5.21776974e-01 -1.24511528e+00 1.72550952e+00 -1.10107374e+00.............................................. 1.48737788e-01 6.13833666e-01 1.45513227e-03 2.48806804e-01]
如果有的单词不存在字典中,会报错
报错
所以在获取单词的词向量前,最好加一个判断:
if '计算机' in model:
print (model['计算机'])else: print ('单词不在字典中')
训练好的模型还可以计算单词之间的相似度,这里的相似度我理解的并不是同义词或者近义词,而是在给定的上下文中,最可能相互替换的词语。使用如下的方法获取一个单词的相似词语:
result = model.most_similar('计算机')for e in result:
print (e[0], e[1])
结果输出:
休斯敦 0.5665031671524048休士顿 0.5348116755485535洛杉矶 0.48812389373779297圣安东尼奥 0.4772784411907196杰克逊 0.4631540775299072奥斯汀 0.45239296555519104达拉斯 0.4364917278289795纽约 0.4348965883255005芝加哥 0.43324437737464905丹佛 0.43036091327667236
如何计算两个单词的相似度呢,使用如下的方法:
print (model.similarity('计算机','电脑'))
结果输出:
0.648130987661
模型还提供了一个方法,用于寻找离群词:
print (model.doesnt_match(u"早餐 晚餐 午餐 中心".split()))
结果输出
中心
我们还可以根据给定的条件推断相似词,比如下面的代码中,我们找到一个跟篮球最相关,跟计算机很不相关的第一个词:
print (model.most_similar(positive=['篮球'],negative=['计算机'],topn=1))
结果输出
[('棒球', 0.4819049835205078)]
原文链接:小小挖掘机 https://mp.weixin.qq.com/s/anW0zb9xZ1l7hxZsi_clVA
查阅更为简洁方便的分类文章以及最新的课程、产品信息,请移步至全新呈现的“LeadAI学院官网”:
www.leadai.org
请关注人工智能LeadAI公众号,查看更多专业文章
大家都在看
![640.png?](https://ss.csdn.net/p?http://mmbiz.qpic.cn/mmbiz_png/fgnkxfGnnkQJsfHzk0g4uu7Oout4kXavwIic9jfUkqsJ3kVjyFcic0icWTHEnMCv7E8h7ciclOmNpspcnduk5PJia3w/640.png?)