版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_33907408/article/details/85157931
16G内存
自己搭建的节点：
hdfs集群和yarn集群
1-namenode 4-datanode 1-master 4-slave
based on Centos 7 JDK1.8 hadoop1.8.0
NAT联网：同一个网段
设置好每个虚拟机的固定IP，和内网域名映射，ssh免密登录，防火墙关闭
需要的配置文件：
hadoop-env.sh 指定JAVA_HOME
core-site.xml
指定谁是namenode 指定其ip和端口号
hadoop.tmp.dir这是整个文件系统依赖的基本配置hdfs-site.xml
replication 配置的副本个数mapred-site.xml
mapreduce-framework-name 指定mapreduce跑在yarn集群上slaves 指定slave的内网域名
yarn-site.xml
yarn.resourcemanager.hostname:谁是yarn集群的master
yarn.nodemanager.aux-service: NodeManager上运行的负数服务，需要配置成mapreduces_shuffle，才能运行mapreduce程序