知识了解
单机部署模式介绍
单机(本地模式)是Hadoop的默认部署模式。
当配置文件为空时,Hadoop完全运行在本地。
不需要与其他节点交互,单机(本地模式)就不使用HDFS,也不加载任何Hadoop的守护进程。
该模式主要用于开发调试MapReduce程序的应用逻辑。
一、安装jdk1.8
1.下载好jdk1.8并放到root目录下
2.解压到/usr/java下并改名为jkd
mkdir /usr/java
tar -zxvf jdk-8u191-linux-x64.tar.gz -C /usr/java
cd /usr/java/
mv jdk1.8.0_191 jdk
ls
3.配置环境变量/etc/profile在最后添加
#set java environment
export JAVA_HOME=/usr/java/jdk/
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
二、安装hadoop
1.下载hadoop
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
2.解压到/opt目录下
tar -zxvf hadoop-3.2.1.tar.gz -C /opt
cd /opt
3.配置环境变量/etc/profile在最后添加
#HADOOP_HOME
export HADOOP_HOME=/opt/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
4.刷新配置文件使其立刻生效
source /etc/profile
5.编辑配置文件hadoop-env.sh,将JAVA_HOME设置为Java安装根路径。
vim /opt/hadoop-3.2.1/etc/hadoop/hadoop-env.sh
6.测试bin/hadoop
在/opt/hadoop-3.2.1下使用bin/hadoop命令
三、单机模式运行测试
1.在/opt/hadoop-3.2.1目录下创建input目录
2.将etc/hadoop下的xml文件拷贝到input文件夹
3.在/opt/hadoop-3.2.1目录下通过正则匹配,将匹配项写入output文件夹
sudo bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+'
4.查看输出结果
cat output/*