RDD编程--初始化Spark

RDD编程–初始化Spark

Spark 程序必须做的第一件事是创建一个SparkContext对象,它告诉 Spark 如何访问集群。要创建一个,SparkContext您首先需要构建一个SparkConf对象,其中包含有关您的应用程序的信息。

每个 JVM 应该只有一个 SparkContext 处于活动状态。stop()在创建新的之前,您必须激活 SparkContext。

val conf = new SparkConf().setAppName(appName).setMaster(master)
new SparkContext(conf)

该appName参数是您的应用程序在集群 UI 上显示的名称。 master是一个Spark、Mesos 或 YARN 集群 URL,或者一个特殊的“本地”字符串以在本地模式下运行。实际上,在集群上运行时,您不会想master在程序中进行硬编码,而是希望在那里启动应用程序spark-submit并在那里接收它。但是,对于本地测试和单元测试,您可以传递“local”以在进程内运行 Spark。

猜你喜欢

转载自blog.csdn.net/qq_43729898/article/details/121396027