本文主要参考:hadoop 虚拟机下伪分布式部署(linux) 超详细版
https://blog.csdn.net/Henry_Lin_Wind/article/details/89402422
1.先安装好VMware,然后安装一个CentOS系统
2.安装MobaXtermV10.9来连接linux系统
百度云下载链接:
https://pan.baidu.com/s/1Ck2JvY6OAnwmwx_wdx5YrA
3.Centos6.5 忘记root密码的解决办法
https://blog.csdn.net/cui1834515/article/details/77860113
4.机器的网卡设置为静态IP,实际生产中是用的静态IP。
vim /etc/sysconfig/network-scripts/ifcfg-eth0
修改为:
DEVICE="eth0"
BOOTPROTO="static"
HWADDR="00:0C:29:DC:DA:1A"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="5f47c519-d3ea-47b4-a8e2-e38dec250b67"
# 上面是我原有的,这下面的是我添加的
IPADDR=192.168.100.128
NETMASK=255.255.255.0
GATEWAY=192.168.100.2 # 这里的100要看自己机器上的实际情况,虚拟机工具栏->编辑->VMnet8
DNS1=192.168.100.2
DNS2=8.8.8.8
DNS3=114.114.114.114
5.在主站安装Java 和 Hadoop (主站配置好后,通过分发复制到其他从站,或者如果你的两个其它的虚拟机还没装,可以通过克隆的方法来分发,如步骤8)
安装jdk、hadoop可以参考:https://blog.csdn.net/weixin_30559481/article/details/98309115
使用scp命令来分发:
scp -r /data [email protected]:/data
scp -r /usr/local/jdk1.8.0_162/ [email protected]:/usr/local/jdk1.8.0_162/
将本地的/data文件夹分发到用户名@IP的主机,目录为根目录下的data
vim /etc/profile
最后添加:
export HADOOP_HOME=/data/hadoop-2.7.6
export JAVA_HOME=/usr/local/jdk1.8.0_162
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin
6.克隆两个CentOs子系统(已经有两个子节点的话就不用克隆了)
https://jingyan.baidu.com/article/2fb0ba40f07cfd00f2ec5fe1.html
如果你是虚拟机里克隆的两个子节点,就要修改一下网卡的MAC地址,因为修改IP为静态的话,三个节点的MAC都是一样的会冲突,配置静态IP会失败:
所以就要进这里修改:
vim /etc/udev/rules.d/70-persistent-net.rules
vim /etc/sysconfig/network-scripts/ifcfg-eth0
然后其余两个节点的IPADDR参照步骤9的IP来改。
7.配置hosts:
必须登录所有虚拟主机的root账户才能修改/etc/hosts文件,/etc/hosts文件内容添加(IP视个人情况,不要照抄):
sudo vim /etc/hosts
三台机器hosts都配置为: 设置完成后可以ping一下来测试三个主机之间是否可以连接。
192.168.100.128 master
192.168.100.129 hadoop2
192.168.100.130 hadoop3
core-site.xml之类的hadoop配置文件:
/data/hadoop-2.7.6/etc/hadoop
附录:
如果你不用MobaXtermV的话可以用Xshell、Xftp,但它们都没有MobaXtermV好用
1)Xshell怎样登陆本地虚拟机
Xshell5.0百度云链接:https://pan.baidu.com/s/1rN8r9Y1GiUIl_vVnQGYqZw
https://jingyan.baidu.com/article/48206aeada2e41216bd6b377.html
2)Xftp怎样登陆本地虚拟机
Xftp5.0百度云链接:https://pan.baidu.com/s/1keZ1JSkE5Z3nD8ze-fZR6A
https://jingyan.baidu.com/article/e75057f2c2f9eeebc91a89e6.html