CCKS-19-任务六-技术搭建记录1

  • 利用Python进行问题的input输入
  • 通过LTP(哈工大CNLP工具)对变量进行自然语言处理,并进行数据输出的保存
  • 调用官方提供的gStore的API,对知识库进行搜索,并输出返回结果
  • 以上,仅为整体框架,细节部分还需继续优化。

环境搭建:

VMware15 pro

Ubuntu18.04

PyCharm19版+VIM

Ana...3.6.0

开始:

由于最新版的Ubuntu自带Python2和3,所以我们首先便开始对LTP的移植调试。

LTP官网:http://ltp.ai/index.html

官网中给出了安装方式,但实际上的安装没有那么容易,笔者花了10小时+才得以安装调试成功。

 

首先我们看一下各种安装方式

安装方式一:https://github.com/HIT-SCIR/pyltp

我们若采用pip方式进行安装,那么pip工具首先就需要被安装,

对pip工具不了解的,可以参考此文章:https://linux.cn/article-10110-1.html

pip的安装过程中可能会出现各种问题,不同环境会遇到不同的问题,读者请自行百度解决。

pip安装完成后,可直接

$ pip install pyltp 进行安装

其中可能会遇到的问题有:

1.网速慢,正常。

2.缺少各个依赖包,最常见的缺失如gcc、g++等工具,针对错误显示的内容,进行apt install即可

3.内存不够,虚拟机可直接进行内存的选择,非虚拟机只能通过扩大SWAP分区的办法(同树莓派方式)

以上问题,均可通过百度自行解决。

安装完成后,同时可以使用LTP自带的模型文件,注意工具和模型的版本必须完全保持一致。

各版本模型下载地址官网有。

安装方式二:源码安装(官方推荐)

这里存在一个问题,直接git clone进行下载时,下载速度极其慢,且GitHub以及CSDN等市面上存在各个不同版本的源码文件,如果直接在Win系统下以迅雷方式进行Download时,的确下载速度快,但是复制到Linux中时,也会出现很多的问题,总之这个源码文件,本身就是存在一定的统一问题。

在这里,为了节省大家的时间,我放出我所下载成功的GitHub的链接,无论是采用git clone还是迅雷下载的土方法,均可实现成功。

可用源码链接:https://github.com/HIT-SCIR/pyltp

在安装之前,务必安装有:git、cmake、g++、gcc、python等依赖

这里,简要的给出非常必要关键的依赖包代码:

sudo apt-get install python-dev libxml2-dev libxslt-dev

python3.6-dev、python3等安装。

网速慢的话,可自行百度系统设置。

下载完源代码后,

已经傻瓜式总结好了后续操作:

cd pyltp

git submodule init

git submodule update

cd ltp

./configure

make(sudo make)

cd pyltp

python3 setup.py build

python3 setup.py install(sudo)

安装过程很长,其中可能出现内存不足、warning很多(不理会)、时间过长等情况。

最后安装成功后,

终端输入:

python3

import pyltp

如果不报错,即安装完成。

部分报错问题,可参考:

https://github.com/okfn/piati/issues/65

https://blog.csdn.net/brink_compiling/article/details/79864331

 

 

 

 

 

发布了10 篇原创文章 · 获赞 4 · 访问量 273

猜你喜欢

转载自blog.csdn.net/qq_22795223/article/details/89387123
今日推荐