在eclipse上运行hadoop导入jar包和本地环境配置

------------eclipse上运行导入jar包



 1)拷贝解压后的hadoop(E:\hadoop-2.6.4\share)下的文件夹hadoop到E盘根目录,


   重命名为hadoopjars.


 2)--------新建的项目导入hadoop的jar包
 
 右键项目properties---java build path---add library---user library
  
         ---user libraries---New---hdfsjar


  这样新建的hdfsjar就完成了


   add External JARs---选择E盘下的hadoopjars下的E:\hadoopjars\common的hadoop-common-2.6.4.jar和E:\hadoopjars\common\lib下的全部jar-----选择E:\hadoopjars\hdfs的


   hadoop-hdfs-2.6.4.jar和E:\hadoopjars\hdfs\lib下的全部jar


------------windows上hadoop环境搭建

1.配置hadoop环境变量,跟配置java环境变量一样.

2.运行hadoop程序,需要替换解压后的两个文件夹lib和bin,从官网上下载的是c语言的编译包,我们要改成无jar版windows平台  hadoop-2.6.1

3.创建文件系统客户端对象的时候,注意最后一个参数

//可以直接传入 uri和用户身份

fs = FileSystem.get(new URI("hdfs://master:9000"),conf,"hadoop"); //最后一个参数为用户名


总结:

用开发,需要设置以下环境:

A、windows的某个目录下解压一个hadoop的安装包

B、将安装包下的libbin目录用对应windows版本平台编译的本地库替换

C、window系统中配置HADOOP_HOME指向你解压的安装包

D、windows系统的path变量中加入hadoopbin目录




猜你喜欢

转载自blog.csdn.net/peng_0129/article/details/80505722