Hadoop本地模式,用于MR测试,没有HDFS系统,处理的是本地的文件系统数据
接上篇 hadoop 安装位置为 cd /etc/hadoop
进入配置目录
cd /etc/hadoop/etc/hadoop/
cd /etc/hadoop/etc/hadoop/
修改第25行
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk.x86_64
将JAVA_HOME设置为你的jdk路径
:wq 保存 退出
回到根目录
cd /
扫描二维码关注公众号,回复:
11326327 查看本文章
创建Hadoop文件测试目录(虽然没有hdfs系统,但是我还是用hdfs作为目录名称)
mkdir hdfs
cd hdfs
mkdir input
cd input
vi words.txt
内容如下
I love RuiJi.Net
do you love RuiJi.Net
we are love RuiJi.Net
:wq 保存 退出
进入
cd /etc/hadoop/share/hadoop/mapreduce/
执行如下语句
hadoop jar hadoop-mapreduce-examples-2.9.1.jar wordcount /hdfs/input/words.txt /hdfs/output
如果输出目录以及存在则使用下面语句删除
rm -fr /hdfs/output/
cd /hdfs/output
查看输出结果