1、安装python、spark、java
环境版本:
debian7
python3.6
java1.8
spark-2.4.0-bin-hadoop2.6
如果有网络可尝试用apt-get与pip下载安装,离线环境可下载使用安装包
2、问题
2.1、python版本冲突:
“EXCEPTION:Python in worker has different version 2.7 than that in driver 3.6”
解决:
增加环境变量
(指向所有python执行文件,在spark-env.sh中添加似乎无效)
扫描二维码关注公众号,回复:
11064155 查看本文章
![](/qrcode.jpg)
export PYSPARK_PYTHON=/usr/local/bin/python3 export PYSPARK_DRIVER_PYTHON=
/usr/local/bin/python3
其他环境变量
export SPARK_HOME=/home/hadoop/spark-2.4.0-bin-hadoop2.6 export PATH=$PATH:${SPARK_HOME}/bin
3、使用
此处连接hadoop使用:
from pyspark import SparkContext,SparkConf
sc = SparkContext(conf=SparkConf().setAppName("First App"))
logData = sc.textFile("hdfs://ip:9000/user/hadoop/xxx.xx")
logData.first()