一、Linux的安装与网络基本设置
-
Linux虚拟机安装 [rhel7-Gnome];
-
VM主页->编辑虚拟机设置->网络适配器:选择NAT模式;
-
编辑->虚拟网络编辑器->VMnet8->NAT设置:查看子网IP,子网掩码,网关;
-
[Windows物理机] 网络和Internet设置->更改适配器选项->VMnet8-IPV4:设置同一子网下的IP;
-
[rhel7-Gnome] 右上角“网络”->设置->编辑eth0->IPV4:设置同一子网下的IP;
-
[Windows-cmd] ping,若能接通即可通过SecureCRT连接Linux;
-
root权限下,ln -sf /lib/systemd/multi-user.target /etc/systemd/system/default.target 关闭图形化界面(注:rhel7已经不再使用/etc/inittab RunLevel设置显示);
-
root权限下,vim /etc/sudoers 插入一行 “userA ALL=(ALL) ALL”,给指定的普通用户userA赋予sudo权限;
NETWORKING=yes HOSTNAME=...(如Hadoop01)
-
普通用户userA权限下,vim /etc/hosts,插入"ip地址 主机名"以添加映射;
-
关闭Linux防火墙:
#查看防火墙状态
service iptables status
systemctl status firewalld (rhel7)
#关闭防火墙
service iptables stop
systemctl stop firewalld(rhel7)
#查看防火墙开机启动状态
chkconfig iptables -list
#关闭防火墙开机启动
chkconfig iptables off
systemctl disable firewalld
二、JDK安装
- SecureCRT下,alt+p弹出sftp窗口,put jdk路径
- 创建目录并解压jdk;
mkdir hadoopApp
tar -xzf {JDK_NAME} -C hadoopApp
- 将Java添加至环境变量中;
vim /etc/profile
export JAVA_HOME=/home/hadoopApp/{JDK_NAME}
export PATH=$PATH:$JAVA_HOME/bin
- 刷新配置;
source /etc/profile
三、安装Hadoop
-
上传,解压与JDK安装时一样的;
-
进入 hadoop2.x/etc/hadoop,修改6个配置文件:
(1) hadoop-env.sh#第27行 export JAVA_HOME={在/etc/profile中设置的JAVA_HOME}
(2) core-site.xml
<!-- 指定Hadoop所使用的文件系统schema(URI),NameNode --> <property> <name>fs.defaultFS</name> <value>hdfs://[HOSTNAME]:9000/</value> </property> <!-- 指定Hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-2.4.1/tmp</value> </property>
(3) hdfs-site.xml
<!-- 指定HDFS中文件块的副本数量 --> <property> <name>dfs.replication</name> <value>1</value> </property>
(4) mapred-site.xml
(重命名mapred-site.xml.template)<!-- 指定mr运行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
(5) yarn-site.xml
<!-- 指定YARN ResourceManager --> <property> <name>yarn.resourcemanager.hostname</name> <value>{HOSTNAME}</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
(6) slaves
用于配置DataNode,默认为localhost
-
将Hadoop添加到环境变量
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_65
export HADOOP_HOME=/…/hadoop-2.9.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
- 格式化NameNode(对NameNode进行初始化)
hdfs NameNode -format
#或者 hadoop NameNode -format
-
启动Hadoop
先启动HDFS: start-dfs.sh
再启动YARN: start-yarn.sh -
jps验证是否启动成功
两个可视化管理工具(需要吧hostname-ip映射加入到hosts中):
HDFS可视化界面- http://hostname:50070
MR可视化界面- http://hostname:8088