多虚拟机分布式安装中科院EasyML

*学长让我学习使用中科院EasyML平台的使用用于日后的工作,所以就想着用备用机部署一下EasyML(以下简称EML)。
**部署不是很难,根据EML官方的github可以布置。https://github.com/ICT-BDA/EasyML/blob/master/QuickStart.md
(推荐阅读)还有我之前写过的本地使用docker安装EMLhttps://blog.csdn.net/sugar_HIT/article/details/86573613。

多虚拟机分布式安装中科院EasyML
看过官方文档(前面链接)的朋友可能注意到:
1、第一种用IDEA本地运行的应该是有问题的,目前我还没有查找到解决方案。
2、第二种使用docker在本机上布置EML的,内存又有一点吃不消。
3、不用ubuntu可能会遇到点问题
本文目的:
1、拆分一台机器上跑的四个docker到四台虚拟机上,降低一台机器上的运算压力;
2、实现EML中hadoop分布式配置

我们的主要目的是使用布置 EML。至于在布置过程中遇到的 docker使用问题centos调整权限问题等不是我们要学习的主要内容。所以需要分布式安装的朋友请参考我这里的软硬件参数。

虚拟机资源4台,(最好)处于同一局域网。

虚拟机编号 虚拟机IP地址 虚拟机作用 虚拟机操作系统 虚拟机配置
1 10.245.142.14 hadoop-master 不低于ubuntu16.04.5(需要能够正常运行docker) 内存不低于1GB,存储空间不小于10GB
2 10.245.142.20 hadoop-slave1 不低于 ubuntu16.04.5 内存不低于1GB,存储空间不小于10GB
3 10.245.142.21 hadoop-slave2 不低于ubuntu16.04.5 内存不低于1GB,存储空间不小于10GB
4 10.245.142.125 mysql 不低于ubuntu 16.04.5 内存不低于1GB,存储空间不小于10GB
  • 需要开启上述四台机器的6783端口(TCP/UDP 双向)或者关闭防火墙。
  • 不推荐使用阿里云来操作

1、安装docker

虚拟机1 hadoop-master sudo apt-get install docker-ce
虚拟机2 hadoop-slave1 sudo apt-get install docker-ce
虚拟机3 hadoop-slave2 sudo apt-get install docker-ce
虚拟机4 MySQL sudo apt-get install docker-ce
安装完之后请自行测试docker是否成功安装。测试方法:docker run hello-world
※ ubuntu下运行docker需要使用root用户sudo su

猜你喜欢

转载自blog.csdn.net/sugar_HIT/article/details/86663945