搭建环境Centos7&mac os 单机版差不多一样的
之前搭建的时候很多内容比较的杂乱,思路也不清晰,今天重写搭建一个顺便记录下来
1.安装java环境,本人用的是jdk1.8,具体环境搭建不做介绍
[root@VM_81_197_redhat ~]# java -version
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)
2.ssh环境:
[root@VM_81_197_redhat tools]# rpm -qa | grep ssh
libssh2-1.4.3-10.el7_2.1.x86_64
openssh-6.6.1p1-35.el7_3.x86_64
openssh-clients-6.6.1p1-35.el7_3.x86_64
openssh-server-6.6.1p1-35.el7_3.x86_64
我有,就不介绍安装了
3.安装hadoop
3.1网址:
https://mirrors.cnnic.cn/apache/hadoop/common/
3.2下载,本着多年江湖经验,绝对,绝对不要下载最新版本,怎么吹我都不信,王八念经,不听不听,出了错都找不到怎么解决。直觉告诉我,就下载2.7.5的吧
wget https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz
3.3配置文件
3.3.1 core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/Users/tate/work/file/bigbata/hadoop-2.7.5/hadoopdata</value>
</property>
</configuration>
3.3.2 hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
3.3.3 mapred-site.xml(注:mapred-site.xml.template把名字改成mapred-site.xml,建议复制后修改,保留源文件)
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
3.3.4 yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
4 运行试试看
4.1 配置环境:/etc/profile 文件修改:
HADOOP_HOME="/XXXXXXXX/hadoop-2.7.5"
PATH="$HADOOP_HOME/bin"
退出过后刷新一下:
source /etc/profile
试着在命令行输入命令,表示生效了
$ hadoop version
Hadoop 2.7.5
4.2 初始化namenode:刷刷一大片
cd $HADOOP_HOME
hadoop-2.7.5 tate$ hdfs namenode -format
4.3 启动hdfs:多次yes,多次输入你的密码
hadoop-2.7.5 tate$ sbin/start-dfs.sh
4.4 启动yarn
hadoop-2.7.5 tate$ sbin/start-yarn.sh
5.观看页面,网页输入:
http://localhost:50070/
http://localhost:8088/cluster
画面出来了,证明配置好了!
其实也可以直接开启和关闭
hadoop-2.7.5 tate$ sbin/start-all.sh
hadoop-2.7.5 tate$ sbin/stop-all.sh