虚拟机准备
- 更新虚拟机，能够减少很多问题，以ubuntu为例
$ sudo apt-get update
$ sudo apt-get upgrade
- 创建hadoop用户，并加入管理员组，防止权限问题
$ sudo useradd hadoop
$ sudo passwd hadoop # 两次输入新密码，比如hadoop
$ sudo adduser hadoop sudo # 加入管理员组
登录hadoop用户
安装SSH
$ ssh localhost # 产生一个~/.ssh/的文件夹
yes
$ exit
$ cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost
$ ssh-keygen -t rsa # 会有提示，都按回车就可以
$ cat id_rsa.pub >> authorized_keys # 加入授权
安装JDK8
- 准备软件安装目录，以
/opt/module/为例
$ cd /opt/ # 切换到opt目录
$ sudo mkdir module # 创建一个module目录，用于存放软件
$ sudo chown -R hadoop:hadoop ./module # 把module文件夹的所有权交给hadoop用户
- 下载jdk的压缩包，假设下载的路径是
/home/hadoop
$ cd ~ # 切换到用户目录
$ tar -zxvf jdk-8u201-linux-x64.tar.gz -C ~ # 解压到当前目录
$ ls # 会看到多了个jdk解压后的目录:jdk1.8.0_201
$ mv jdk1.8.0_201 jdk # 重命名,方便使用
$ cd jdk/ # 此时应该看到,bin、include...等文件，则证明解压成功。
$ mv jdk/ /opt/module # 移动jdk到指定目录下
- 配置环境变量
$ sudo vim /etc/profile # 没有vim编辑器的话,vi也可以
## 编辑文件，环境变量如下
export JAVA_HOME=/opt/module/jdk
export PATH=$PATH:$JAVA_HOME/bin
- 配置生效
$ source /etc/profile
$ java -version # 验证一下，不能的话就重启
下载CDH Hadoop
-
版本：
hadoop-2.6.0-cdh5.15.1.tar.gz（注意版本号） -
区别：CDH系列软件版本号有区别于原始Hadoop生态圈，不要觉得版本老，实际不一样！
-
系列：安装了
cdh5.15.1的hadoop,以后安装hive,hbase等,版本号也要相同 -
同理，把
hadoop解压到/opt/module目录里 -
环境变量如下
$ sudo vim /etc/profile
## 新增内容如下：
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
## #########
$ hadoop version # 验证，如同java -version，注意没有-
Grep案例
此时是
单机/本地模式，不需要启动Hadoop
$ cd /opt/module/hadoop
$ ls # 确保不存在input,output文件夹
$ mkdir input # module目录所有者属于hadoop,不需sudo
# 将Hadoop的xml配置文件复制到input
$ cp etc/hadoop/*.xml input
# 执行share目录下的MapReduce程序
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar grep input output 'dfs[a-z.]+'
# 查看输出结果
$ cat output/*
1 dfsadmin
WordCount案例
$ mkdir wcinput # 用于存放需要单词统计的文件
$ cd wcinput/
$ touch wc.input
$ vim wc.input
hadoop yarn # 随便写入一些单词
hadoop mapreduce
spark scala
spark hadoop
$ cd ../
$ pwd
/opt/module/hadoop
$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar wordcount wcinput wcoutput
$ cat wcoutput/part-r-00000
hadoop 3
mapreduce 1
scala 1
spark 2
yarn 1