1.安装py4j: pip install py4j。
2.python安装目录下site-packages下新建pyspark.pth文件,内容为:
C:\spark-1.6.2-bin-hadoop2.6\python\。
3.配置环境变量:SPARK_HOME,值为“C:\spark-1.6.2-bin-hadoop2.6”。
重新打开PyCharm。
既能运行Spark程序,又能解决python程序中“from pyspark import SparkContext”显示为找不到包的问题。
from pyspark import SparkContext
sc = SparkContext("local", "Test")
print d.count()
sc.stop()