版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/duanshao/article/details/80970483
近期做了一些NLP的研究,并基于6月份蚂蚁金服金融大脑的挑战赛,完成了文本相似度计算的验证。
主要思路是基于word2vec来进行训练,并实现文本相似度的计算。
所使用的语料,包括了公开的wiki语料,网友收集的微信语料,以及此大赛中的语料。
其中微信语料的位置在https://spaces.ac.cn/archives/4304(可参考)。
注意,此次语料训练采用了增量训练的方式。
整体的代码位置在,https://github.com/renwoxing2016/nlp-ali,大家可参考。
使用方式:
1、下载此代码到本地。
2、下载训练的模型,参见模型的位置。
下载后放到models目录下。
3、运行python ali_wx_wiki_vec_compare.py ./input_test.txt ./temp/
扫描二维码关注公众号,回复:
5957677 查看本文章
4、结果在temp目录下。
训练:
1、下载数据到本地。拷贝到此代码大的根目录下。数据比较大有待上传后更新其网址。
2、运行如下脚本即可。
python word2vec_train.py