今天一直在想这么快速搭建集群,因为之后集群会有很多slave,不可能一个个的安装吧,然后脑袋抽了,看来docker,个人感觉docker相当于是小型的虚拟机,可以提取出想要的环境,便于测试吧,但是一般是一个linux里边几个docker,应该和集群还不一样,如果用docker的话相当于linux的虚拟机吧。然后突然又想起来可以从master直接传过去到slave啊。。。。。。
算是搭了两次集群吧,第一次对于大数据平台还是很模糊,感觉工具好多,要学的好多,但是我并没有搞清需求,一直在看各种软件,以至于还得重新弄,第二次卡在centosSSH配置了,真的是没办法啊。。。现在又开始了搭建集群,一定要把所有的步骤都记下来~
推荐厦大林子雨实验室网站进行安装参考,林子雨老师关于大数据的慕课也很好,特别适合入门!
1.VM安装Ubuntu14.04,第一个安装为maste,第二个用克隆作为slave1(之后的slave可以克隆这个,改一些配置即可)
2.用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了。按 ctrl+alt+t 打开终端窗口,执行如下命令
sudo apt-get update
3.安装vim,编辑方便,gedit也可以
sudo apt-get install vim
4.安装SSH、配置SSH无密码登陆
集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server:(我的centos不能配置成功ssh应该就是忘记了server)
sudo apt-get install openssh-server
ssh localhost
首先退出exit刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:
exit # 退出刚才的 ssh localhost
cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa # 会有提示,都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys # 加入授权
此时再用
ssh localhost
命令,无需输入密码就可以直接登陆了
5.安装jdk
下载jdk-8u131-linux-x64.tar.gz安装包,然后检测自己的系统中有没有java环境
rpm -qa | grep java
yum remove java-1.* #移除java版本
sudo mkdir /usr/BigData #建立文件夹,之后所有关于大数据平台都放在这里
sudo mkdir /usr/BigData/jdk
#将下载好的jdk放在桌面
cd ~/Desktop
sudo tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/BigData/jdk #安装jdk
安装时一定要sudo
修改环境变量,关于环境变量
我们修改.bashrc,因为每次登陆shell它都会更新
sudo gedit ~/.bashrc
#将以下部分加入到首行
JAVA_HOME=/usr/BigData/jdk/jdk1.8.0_131
CLASSPATH=.:./bin
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
#保存并关闭文件后
source ~/.bashrc#使生效
echo $JAVA_HOME # 检验变量值
$JAVA_HOME/bin/java -version # 与直接执行 java -version 一样
当出现以下即为成功!
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)