Linux集群中多节点服务器下Hadoop集群安装

参照上一篇:单节点下安装hadoop伪分布式集群  安装完后,讲解安装hadoop集群点击打开链接

 1.将上一节点node82中/usr/local中的安装好的hadoop 复制到新节点node81下的/usr/local (该节点作为datanode)

       将node82作为namenode

     

    因为上一节点中hadoop已经配置好,所以配置文件无需配置,但要保证该节点的jdk与node82下的安装路径一样。因为所有  节点都时公用一个~/.bashrc (集群上创建用户时会分发到每个节点),当切换到其他节点时,~/.bashrc 中/usr/local等路径都是相应节点下的

2.因为该集群内网已经搭建好了 内网ip和节点名称都已经在/etc/hosts配置好了,

   不介绍内网搭建,注意本集群除了主节点联网,其他节点都不联网。

扫描二维码关注公众号,回复: 869023 查看本文章

3.复制好了后(sudo scp hadoop username@ip:/usr/local),因为该节点作为datanode,所以有些hadoop配置文件需要修 

  改。首先进入到/usr/local/hadoop/etc/hadoop下

修该以下几个文件

  (1)core-site.xml

    因为将node82作为namenode,其他节点作为datanode,

    所以要通过core-site.xml指定主机名,修改如下

    

     之后当程序存取HDFS时,会使用hdfs://node82:9000这个目标存储HDFS

  

   (2)yarn-site.xml

       修改如下

        

说明:

  8025  设置ResourceManager主机与NodeManager的连接地址

        NodeManager通过这个地址与ResourceManager汇报情况

  8030  设置ResourceManager主机与ApplicationMaster的连接地址

        ApplicationMaster通过这个地址与ResourceManager申请资源,释放资源

  8050  设置ResourceManager主机与客户端的连接地址

        客户端通过该地址 ResourceManager注册应用程序,删除应用程序

  YARN架构图

(图片来自hadoop官网http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html)


(3)mapred-site.xml

  修改如下

  

修改mapreduce job tracker的连接地址为node82:54311

(4)hdfs-site.xml

  修改如下

  

设置datanode HDFS存储目录,删除原来的namenode设置,因为该节点纯碎做datanode,

4.以上作为一个datanode已经设置好了,其他datanode节点可以从node81中的/usr/local的hadoop复制过来。

  先复制到其他节点的/home/username/Packages下,再复制到/usr/local下

 

  sudo cp -r hadoop/ /usr/local

  复制后修改文件所属者和组

 

 

5.配置namenode节点(即修改node82上的配置)

 切换到node82 ,进入到cd /usr/local/hadoop/etc/hadoop/

 (1)编辑 hdfs-site.xml

        

  

         因为node82作为namenode所以设置namenode HDFS存储目录即可。

 (2) 编辑masters文件(有些版本中/hadoop/etc/hadoop中没有这个文件,配置namenode时可以不用配置)

     

     masters文件主要告诉hadoop系统哪一台机器是namenode

(3) 编辑slaves文件(该文件都有)

   slaves文件主要告诉hadoop系统哪些机器是datanode

 

6.删除namenode和datanode中的不必要的文件

 

                在node82上输入start-dfs.sh启动HDFS看见其他三个节点都启动了

                

                输入:

                

                启动Hadoop MapReduce的框架Yarn,

                切换到namenode 和 datanode 输入jps看到各自的进程都完美开启

               

                输入stop-all.sh可以关闭所有节点上的服务

                

                

              


猜你喜欢

转载自blog.csdn.net/qq_25948717/article/details/80299499