使用IDEA2017在Windows下编程并测试Hadoop2.7+Spark2.2

1. 下载好IDEA HADOOP SPARK

首先,配置IDEA, 在插件管理中使用IDEA在线库安装scala插件, 在在线库直接搜索即可;

其次,配置Maven选项, 将Maven添加到IDEA;

最后,将windows依赖覆盖原先的linux依赖, 如下图;

2. 向IDEA导入HADOOP jar包, 将本地hadoop下的, share目录中的五个文件夹导入, 如下图:

 

 将配置文件放入resources后,运行一些测试程序后发现:

报错:  

org.apache.hadoop.security.AccessControlException: Permission denied

解决:  hadoop fs -chmod -R 755 /

另外:  在pom中需加入:

<dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

  

最严重的如下, 因为我使用的mapred默认是yarn模式, 因此需要设置跨平台发送jar包:

Exception message: /bin/bash: line 0: fg: no job control

解决:

Configuration conf = new Configuration();
conf.set("mapred.remote.os","Linux");
conf.set("mapreduce.app-submission.cross-platform","true");
conf.set("mapred.jar","D:\\WorkSpace\\Web-DataAnalyze\\pc\\out\\artifacts\\pc\\pc.jar");

 终于能run了!!!

 

猜你喜欢

转载自www.cnblogs.com/ruili07/p/10046076.html