Windows 10下编译安装Hadoop2.6

  • 不需要在Cygwin下安装Hadoop,官方也不推荐使用Cygwin。

  • Hadoop版本支持情况:Hadoop 2.2版本起包括Windows的原生支持。截至2014年一月份,官方的Apache Hadoop的版本不包括Windows二进制文件。

  • Windows版本支持情况:Hadoop官方人员开发、测试环境分别是32的 Windows Server 2008 和32位的 Windows Server 2008 R2 。因为服务器型号win32位的API相似,所以官方推测Windows7或者Windows Vista应该也是支持的。Windows XP Hadoop官方不测试也不支持。

总之,Windows版本的Hadoop需要在2.2之后可自行编译,并且不支持Windows XP,在其他Windows平台下,官方不予严格的支持(仅仅提供二进制文件,部分组件需要自行编译)。

以下内容是具体实施,Hadoop集群在Windows环境下支持情况调研与测试部署,罗列了Windows实际部署情况,以及所遇到的问题和解决方案。

1. 自行编译Windows环境的二进制包

Requirements:

* Windows System
* JDK 1.6+
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer
* Windows SDK or Visual Studio 2010 Professional
* Unix command-line tools from GnuWin32 or Cygwin: sh, mkdir, rm, cp, tar, gzip
* zlib headers (if building native code bindings for zlib)
* Internet connection for first build (to fetch all Maven and Hadoop dependencies)

1. 配置编译环境

1.1. 设置JDK环境

JAVA_HOME设置

<img src='../../../Imgs/HadoopforWindows/JAVA_HOMEpath.png' style='width: 50%'/>

jdk设置path

1.2. 安装编译工具maven

下载maven的zip包 将maven的根目录放置系统变量path中

测试mvn -v

mvn-version

1.3. 安装ProtocolBuffer

下载 先切换到带有pom文件路径中

cd E:\IDE\protobuf-3.0.0-beta-3\java

通过mvn 安装 mvn test 测试 mvn install

mvn install.png

1.4. 安装CMake

下载 安装即可。

1.5. 安装visual studio 2010之后(直接下载安装,不再赘述) 或者安装Windows SDK

下面关于Hadoop的文章您也可能喜欢,不妨看看:

2. 编译安装

设置环境编译环境位数 set Platform=x64 (when building on a 64-bit system) set Platform=Win32 (when building on a 32-bit system) 设置安装包环境 设置环境变量添加至将ZLIB_HOME至环境变量中 set ZLIB_HOME=C:\zlib-1.2.7 mvn编译命令

mvn package  -Pdist,native-win -DskipTests -Dtar

mvn-p

猜你喜欢

转载自www.linuxidc.com/Linux/2016-08/134131.htm