条件:maven、java应用程序代码、pom.xml
-pom.xml文件
1 <project> 2 <groupId>edu.berkeley</groupId> 3 <artifactId>simple-project</artifactId> 4 <modelVersion>4.0.0</modelVersion> 5 <name>Simple Project</name> 6 <packaging>jar</packaging> 7 <version>1.0</version> 8 <repositories> 9 <repository> 10 <id>Akka repository</id> 11 <url>http://repo.akka.io/releases</url> 12 </repository> 13 </repositories> 14 <dependencies> 15 <dependency> <!-- Spark dependency --> 16 <groupId>org.apache.spark</groupId> 17 <artifactId>spark-core_2.12</artifactId> 18 <version>3.0.0-preview2</version> 19 </dependency> 20 </dependencies> 21 </project>
程序依赖Spark Java API,因此我们需要通过Maven进行编译打包。
在./sparkapp2中新建文件pom.xml(vim ./sparkapp2/pom.xml),添加内容如下,声明该独立应用程序的信息以及与Spark的依赖关系
使用Maven打包java程序
将生成的jar包通过spark-submit提交到Spark中运行
扫描二维码关注公众号,回复:
9074237 查看本文章
![](/qrcode.jpg)
学习参考:
http://dblab.xmu.edu.cn/blog/1311-2/