Linux下搭建Hadoop分布式教程

1、首先在Linux中安装jdk与Hadoop,解压及安装成功后配置环境变量。

vi /etc/profile 

打开文件后,将下面这段代码复制进去

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
 

一段是jdk的环境变量,还有一段是Hadoop的环境变量。

配置好后,可以通过javac与java -version命令去检查jdk的环境变量是否配置成功。

Hadoop可以通过 输入start -d  当使用tab补全的时候 出现  start-dfs.sh即配置成功。

检查防火墙是否关闭:systemctl status firewalld 

进入到 /opt/module/hadoop-2.7.3/etc/hadoop目录中,里面有很多配置文件,这里需要配置的文件有四个

(1)core-site.xml 

        <!-- 指定HDFS中NameNode的地址 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://bigdata1:9000</value>
        </property>
        <!-- 指定Hadoop运行时产生文件的存储目录-->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/module/hadoop-2.7.3/data</value>
        </property>

将文件复制进配置文件中的如下位置,bigdata1为主机名称 。

(2)hdfs-site.xml

       <!--数据冗余(备份)数-->
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>

        <!--secondary的NameNode的地址,端口号为50090-->
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>bigdata1:50090</value>
        </property>

        <!-- 关闭权限-->
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
 

(3)yarn-site.xml

        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

        <!-- 指定YARN的ResourceManager的地址 -->
        <property>
                 <name>yarn.resourcemanager.hostname </name>
                 <value>bigdata1</value>
         </property>

         <!-- 日志聚集功能 -->
         <property>
                 <name>yarn.log-aggregation-enable </name>
                 <value>true</value>
         </property>

         <!-- 日志保留时间 设置7天(秒) -->
         <property>
                  <name>yarn.log-aggregation.retain-seconds </name>
                  <value>604800</value>
         </property>

(4) mapred-site.xml

首先 cp mapred-site.xml.template mapred-site.xml   

因为文件夹中只有mapred-site.xml.template 这个文件 所以要把这个文件改名为 mapred-site.xml 

        <!-- 指定MR运行在YARN上 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

        <!-- 历史服务器的地址 -->
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>bigdata1:10020</value>
        </property>

        <!-- 历史服务器页面的地址 -->
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>bigdata1:19888</value>
        </property>

上面几步完成后需要将jdk的环境变量(export JAVA_HOME=/opt/module/jdk1.8.0_231)

复制出来加入到下面几个文件中,都是直接放在文件的最后一行

hadoop-env.sh

yarn-env.sh

mapred-env.sh

最后一步,打开 slaves 这个文件,将里面的localhost改为你的主机的名称。

之后对所配置的文件进行格式化   hdfs namenode -format

格式化之后进行启动   start-all.sh  

此时当他要你输入密码的时候就将你的密码输入进去,

当启动成功之后,在浏览器里面输入你的 主机IP:50070 查看是否可以访问成功

当出现如下页面的时候即已成功,到此伪分布式算是搭建成功。

猜你喜欢

转载自blog.csdn.net/qq_37823979/article/details/103083897