版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/FisherWang_CN/article/details/80097738
1、环境说明：driver节点使用Python3.5，集群使用Python2.7。
2、出现报错
Exception: Python in worker has different version 2.7 than that in driver 3.5, PySpark cannot run with different minor versions.Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.3、首先我声明了一个UDF，然后在SQL中使用这个函数，之后在进行查询时就出现了这个问题。
暂时解决方法：
1、换Python版本
2、(我用的这种) 把udf下沉到driver中执行，即查询到结果之后再进行函数操作
暂时还没有找到很好的方法。