spark-submit运行idea生成的jar包无法找到主类

背景

我在网上把基本上能找到的方法都试过了,然后追根溯源到了idea搭建spark环境上面,这种搭建教程千奇百怪,各不相同,最终看到一位大佬的操作之后终于找到了我debug 5小时的bug(如题)

解决方案

搭建可以参考Idea本地运行spark,操作HDFS(spark-without-hadoop版的spark)

关键在于打包jar包时的选择
JAR files 来自库

  • 提取到目标JAR – 会生成一个独立的大jar包,无法获取独立程序jar包,因此会产生如题的问题
  • 通过manifest配置文件复制到输出目录 – 这样就不影响我们获取唯一的程序代码jar包文件
    在这里插入图片描述

验证

在这里插入图片描述

参考链接

解决我问题的搭建教程

发布了34 篇原创文章 · 获赞 4 · 访问量 7536

猜你喜欢

转载自blog.csdn.net/neve_give_up_dan/article/details/104193455