SKIL/安装/多服务器安装

安装 - 多服务器

在多个服务器上安装skil遵循与在单个服务器上安装skil相同的安装路径,但还有一些附加要求。

 

ZooKeeper

为了使多个服务器能够彼此工作和协调,skil的每个服务器/实例必须具有相同的ZOOKEEPER_HOST设置,并且所有skil的服务器/实例都必须能够访问zookeeper集群。
安装细节见Zookeeper

 

SKIL 配置

在每台skil机器上,将/etc/profile.d/skil-env.sh中的ZOOKEEPER_HOST值设置为完全相同的值。

 

数据库

当使用skil的多个实例/服务器时,需要一个网络可访问的数据库,如mysql、postgres等,数据库是通过jdbc访问的,但是只有mysql经过了完整的SQL查询兼容性测试。
有关安装正确版本MySQL的指南,请参阅MySQL。

 

MySQL

skil不分发mysql jdbc驱动程序,它们必须单独获得。它们可以从MySQL网站下载,网址:https://dev.mysql.com/downloads/connector/j/。
下载的JAR文件应该放在每个服务器的${SKIL_HOME}/lib目录中,通常是/opt/skil/lib。

你可以安装并创建到JDBC驱动程序的符号链接,方法如下:

sudo yum install -y mysql-connector-java 
sudo ln -s /usr/share/java/mysql-connector-java.jar /opt/skil/lib/mysql-connector-java.jar 

 

准备数据库和凭据


skil需要许多数据库,并将根据需要创建它们。所有数据库都以“skil_”作为前缀,为它们提供一个可区别的命名空间。还需要一个名为“skil”的数据库,并且必须在使用MySQL运行skil之前创建该数据库。

详见mysql章节。

 

SKIL 配置

要将skil配置为使用mysql,skil必须使用正确的JDBC驱动程序信息和凭据进行配置。编辑/etc/skil/skil-env.sh配置文件,并添加以下内容:

SKIL_USE_EMBEDDED_DB=false
SKIL_DB_DRIVER=com.mysql.jdbc.Driver
SKIL_DB_URL=jdbc:mysql://localhost:3306/skil
SKIL_DB_USER=skil
SKIL_DB_PASSWORD=skil

上面的配置示例假定mysql服务器在3306端口的localhost上运行,并且用户名和密码都是“skil”。

模型存储

在大型多节点分布式skil集群中,模型存储必须驻留在共享/分布式文件系统上。目前,skil只支持hdfs作为分布式文件系统。其他配置(如NFS)尚未测试。对于较小的集群,skil节点将在它们之间同步模型文件。

HDFS 模型存储配置

要使用HDFS模型存储,请将以下内容添加到/etc/skil-env.sh配置文件中:

MODEL_STORAGE_CLASS=io.skymind.modelstorage.hdfs2.Hdfs2ModelStorage
skil.hdfs2modelstorage.hdfsuri=hdfs://namenode

将hdfs://namenode替换为hdfs集群的完整hdfs-uri。

基本目录
要配置skil将存储模型的基本目录,请添加以下设置:

skil.hdfs2modelstorage.basedir=/skil/modelstorage

将/skil/modelstorage替换为所需目录。

 

Hadoop 用户

要调整skil连接到hdfs时使用的用户名,请调整以下设置:

skil.hdfs2modelstorage.hadoopuser=skil

启动SKIL
配置skil后,使用以下命令启用和启动skil:

sudo systemctl daemon-reload 
sudo systemctl enable skil 
sudo systemctl start skil 

要查看执行上述命令后发生什么 ,需要查看在/var/log/skil/skil.log创建的日志文件。你可以使用tail命令查看日志,如下所示:

tail -f /var/log/skil/skil.log 

启动skil后,打开浏览器并指向:

http://<ip-address>:9008/ (用运行skil的计算机的IP地址替换IP地址)

要停止skil服务器,请使用:

 sudo systemctl stop skil 

猜你喜欢

转载自blog.csdn.net/bewithme/article/details/89293232