1.伪分布式搭建
首先启动一台虚拟机 (确保虚拟机可以联网)
用xshell连接 连接成功后
使用命令 rz
如果没有rz命令
输入yum install lrzsz -y
进行下载
ftp 使用命令rz-----
注:首先下载—yum install lrzsz -y
下载完成后
在opt下新建一个文件夹
使用 rz 将本机中的jdk压缩包发送到opt下的文件下
发送完成后
进行解压
tar -zxvf jdk的压缩包名
tar -zxvf jdk1.8.0_121
然后配置jdk的环境变量
export JAVA_HOME=/opt/software/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile-----让环境变量生效
注:
用户变量 .bashrc
系统变量 /etc/profile
上传hadoop
与jdk方式一样 存放到相同目录下
解压hadoop
tar -zxvf hadoop-2.6.5.tar.gz
配置 NameNode 与 datanode
bin---系统的操作命令(文件的增删改查)
sbin--系统的管理命令(集群的启动、关闭)
etc/hadoop---配置信息
(1) 修改hdfs-site.xml配置文件
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node01(本机名):50090</value>
</property>
(2) 修改core-site.xml配置文件
<property>
<name>fs.defaultFS</name>
<value>hdfs://node01(本机名):9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/abc/hadoop/local</value>
</property>
(3) 修改slaves配置文件
修改为(主机名)
3格式化NameNode(创建目录以及文件)
hdfs namenode -format
启动
/opt/software/hadoop/sbin----start-dfs.sh
配置hadoop的环境变量
export HADOOP_HOME=/opt/software/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
粘贴到jdk环境变量下
把*-env.sh的文件内部所有的java路径改为绝对路径
在浏览器中访问
本机id:50070
完全分布式
需要四台虚拟机
启动
链接xshell
配置多个节点的网络映射
192.168.79.123 node01
192.168.79.124 node02
192.168.79.125 node03
192.168.79.126 node04
多节点之间免密配置
(1)配置免密登录 node01->node01
在每一个节点上运行ssh-keygen -t rsa 产生他们自己的密钥
在node01执行
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04
注:将某一个节点的文件发送到其他的节点上
scp /etc/hosts [email protected]:/etc
配置slaves到多个节点上-----设置的是DN节点的启动位置
修改core-site.xml和hdfs-site.xml
1) 修改hdfs-site.xml配置文件
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node02(本机名):50090</value>
</property>
(2) 修改core-site.xml配置文件
<property>
<name>fs.defaultFS</name>
<value>hdfs://node01(本机名):9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/abc/hadoop/新地址</value>
</property>
将修改完成后的文件发送到其他的节点上
scp -r hadoop-cluster root@node02:/opt/software
格式化,让配置文件生效
hdfs namenode -format
配置免密登录
① ssh-keygen -t rsa
② ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
在浏览器中访问
本机id:50070