前言

今天有时间，将自己的笔记分享出来，方便同僚查阅。不断详细与更新中。为了方便，例子都是以Python写的，后续也会有其他语言的版本。

创建编程入口

SparkContext入口

from pyspark import SparkConf, SparkContext

if __name__ == '__main__':
    conf = SparkConf().setAppName("test").setMaster("local")
    sc = SparkContext(conf=conf)
    rdd1 = sc.parallelize([1, 2, 3, 4, 5])
    rdd2 = rdd1.map(lambda x: x + 1)
    print(rdd2.collect())

SparkSession入口

from pyspark.sql import SparkSession, DataFrame

if __name__ == '__main__':
    spark: SparkSession = SparkSession.builder
                              .appName('test')
                              .master('local')
                              .enableHiveSupport()
                              .getOrCreate()
    # 创建list的list
    lists = [['a', 1], ['b', 2]]
    # 构建具有默认生成的列_1、_2的DataFrame
    dataframe: DataFrame = spark.createDataFrame(lists)
    dataframe.show()

SparkConext和SparkSession的关系

context是session的一个属性

spark: SparkSession = SparkSession.builder.appName('test').master('local').enableHiveSupport().getOrCreate()
sc: SparkContext = spark.sparkContext

DataFrame和RDD的关系

DataFrame是严格的表格关系
RDD是相对松散的关系(其中pairRDD稍微严格一点, 所以有一些特殊的操作)

RDD转dataFrame

dataframe = spark.createDataFrame(rdd, schema=None, samplingRatio=None)

dataFrame转RDD

dataframe = spark.createDataFrame([Row(col1='a', col2=1), Row(col1='b', col2=2)])
rdd = dataframe.rdd

SparkStreaming入口

spark = SparkSession.builder.appName('test').master('local[*]').getOrCreate()
ss = StreamingContext(spark.sparkContext, 10)