初始化StreamingContext

要初始化Spark Streaming程序,必须创建一个StreamingContext对象,它是所有Spark Streaming功能的主要入口点。
A的StreamingContext对象可以从被创建SparkConf对象

import org.apache.spark._
import org.apache.spark.streaming._

val conf = new SparkConf().setAppName(appName).setMaster(master)
val ssc = new StreamingContext(conf, Seconds(1))

该appName参数是应用程序在集群UI上显示的名称。 master是Spark,Mesos或YARN群集URL,或在本地模式下运行的特殊“local []”字符串。实际上,当在群集上运行时,您不希望master在程序中进行硬编码,而是启动应用程序spark-submit并在那里接收它。但是,对于本地测试和单元测试,您可以传递“local []”以在进程中运行Spark Streaming(检测本地系统中的核心数)。请注意,这会在内部创建一个SparkContext(所有Spark功能的起点),可以作为ssc.sparkContext。

必须根据应用程序的延迟要求和可用的群集资源设置批处理间隔。有关 更多详细信息,请参见性能调整部分。

A StreamingContext目的还可以从现有的创建的SparkContext对象。

import org.apache.spark.streaming._

val sc = ...                // 现有 SparkContext
val ssc = new StreamingContext(sc, Seconds(1))

定义上下文后,您必须执行以下操作。

●通过创建输入DStreams来定义输入源。
●通过将转换和输出操作应用于DStream来定义流式计算。
●开始接收数据并使用它进行处理streamingContext.start()。
●等待处理停止(手动或由于任何错误)使用streamingContext.awaitTermination()。
●可以使用手动停止处理streamingContext.stop()。

要记住的要点:
● 一旦启动了上下文,就不能设置或添加新的流式计算。
● 上下文停止后,无法重新启动。
● 在JVM中只能同时激活一个StreamingContext。
● StreamingContext上的stop()也会停止SparkContext。要仅停止StreamingContext,请将stop()called 的可选参数设置stopSparkContext为false。
● 只要在创建下一个StreamingContext之前停止前一个StreamingContext(不停止SparkContext),就可以重复使用SparkContext创建多个StreamingContexts。

猜你喜欢

转载自blog.csdn.net/weixin_43203897/article/details/88642045