1、通过settings 选择anaconda下python环境，并安装py4j包
2、将pyspark包加入工程目录
3、设置运行参数
PYTHONUNBUFFERED=1;SPARK_HOME=E:\spark;PYTHONPATH=E:\spark\python;HADOOP_HOME=E:\hadoop-common-2.6.0-bin-master
然后测试运行 查看 spark 任务是否已经提交
pcharm 远程spark
猜你喜欢
转载自blog.csdn.net/xiaodiudiudiu/article/details/89374385
今日推荐
周排行