Centos6.5hadoop伪分布式搭建
1.准备工作:
虚拟机(安装linux系统);
JDK:
链接: https://pan.baidu.com/s/1uTasi6Pal8Im2lOtFTzuPw 提取码: b45h
Hadoop:
链接: https://pan.baidu.com/s/1Lz–btjXyA4PfmkWRQTZDg 提取码: s2yd
Xshell软件:
链接:链接: https://pan.baidu.com/s/1QMmuJmy_PIZNJRXx978xJw 提取码: qrg9
Xftp软件:
链接: https://pan.baidu.com/s/1aVzhAdu4BcwTpFDWseUYXw 提取码: qknb
2.配置虚拟机网络IP:
命令:
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.150.14(IP)
GATEWAY=192.168.150.2(网关)
NETMASK=255.255.255.0
DNS1=114.114.114.114
3.Wmware软件的网络配置: 看NET模式的网段是否是100的网段;
配置完成以后重启网络;
service network restart
4.使用XShell连接虚拟机:新建:
用户名为:root
密码:123456(注意:密码为自己设置的密码)
出现这个表示连接成功!
5关闭防火墙:
目的:让外界可以访问该虚拟机
命令:
- service iptables stop
- chkconfig iptables off
6.JDK:
-
通过xftp软件,从windows系统将JDK安装包上传至Linux系统;
上传到/opt/software/目录下(该目录需要创建)
-
解压JDK到/opt/app/目录下(该目录需要创建)
root@node1 tools]# tar -zxvf jdk-8u192-linux-x64.tar.gz -C /opt/app -
查看JDK是否解压成功:切换到/opt/app/目录下,查看是否有JDK目录(该目录需要创建)
7.配置JDK的环境变量:
vim /etc/profile
在文件最下面添加内容:
export JAVA_HOME=/opt/app/jdk
export PATH=$PATH:$JAVA_HOME/bin
生效环境变量:
source /etc/profile
检查是否配置成功:
javac
java
java -version
8.安装Hadoop:
-
通过xftp软件,从windows系统将Hadoop安装包上传至Linux系统;
上传到/opt/software/目录下(该目录需要创建) -
解压Hadoop解压到/opt/app/目录下(该目录需要创建);
[root@linux01 software]# tar -zxvf hadoop-2.8.5.tar.gz -C /opt/app/ -
检查是否解压成功:
切换到/opt/app/目录下,查看是否有hadoop目录
9.配置hadoop的环境变量:
vim /etc/profile
在文件最下面添加内容:
export HADOOP_HOME=/opt/app/hadoop-2.8.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
生效环境变量:
source /etc/profile
检查是否配置成功:
hadoop version
10.配置hadoop配置文件:
切换到(/opt/app/hadoop-2.8.5/etc/hadoop : hadoop配置文件所在目录)
-
hadoop-env.sh
export JAVA_HOME=/opt/app/jdk1.8.0_192 -
core-site.xml
<configuration>
<!--配置HDFS访问入口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>
</configuration>
- hdfs-site.xml
<configuration>
<!--设置datanode上的数据副本数-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
- mapred-site.xml
<configuration>
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- yarn-site.xml
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node1</value>
</property>
11.格式化hdfs集群:
hdfs namenode -format
12.启动集群:
start-all.sh
13.查看进程是否启动:
jps
jps
namenode
datanode
secondarynamenode
resourcemanager
nodemanager
14.通过浏览器访问:8080端口
http://192.168.150.14:8080