1、首先去http://hadoop.apache.org/releases.html 下载相应的源码包 例如hadoop-2.8.1-src.tar
2、解压该包到指定文件目录,可以通过ls查看该目录的结构
3、查看BUILDING.txt 获取编译所需环境
4、安装JDK、MAVEN、FINDBUGS
解压相应的安装包到指定目录,并在/etc/profile配置环境变量
5、安装PROTOCBUF
(1)解压protocbuf,在其家目录执行 yum -y install gcc gcc-c++ make cmake
安装完成后入上图所示。
(2)完成后 执行 ./configure --prefix=/usr/local/protobuf
成功截图如上所示
(3)make && make install
成功后,在/usr/local/protobuf生成对应bin、include、lib等
(4)在环境变量配置该组件
6、其他依赖通过如下命令直接安装
yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake
7、接着在hadoop-2.8.1-src的家目录,执行mvn clean package -Pdist,native -DskipTests -Dtar 进行编译
其中,在BUILDING.txt中,有相应的编译命令
8、由于编译过程中需要下载依赖包,可能依据网络不通而时间不同,由于已经下载好相应的包,故编译时间较快。成功截图如下
编译后的文件存放于 /opt/software/hadoop-2.8.1-src/hadoop-dist/target/
提醒:
1、有时候编译过程中会出现下载某个包的时间太久,这是由于连接网站的过程中会出现假死,
此时按ctrl+c,重新运行编译命令。
2、如果出现缺少了某个文件的情况,则要先清理maven(使用命令 mvn clean) 再重新编译。