Spark安装成功首个RDD操作【yeah!】

rdd = sc.parallelize([1,2,3,4,5])
rdd.map(lambda x:x+1).reduce(lambda x,y:x+y)

结果显示:20。即,先给每个加1,再累加。

如果是:

rdd = sc.parallelize([1,2,3,4,5])
rdd.map(lambda x:x+1)
#PythonRDD[1] at RDD at PythonRDD.scala:53
rdd.reduce(lambda x,y:x+y)
#15

结果就是15。

猜你喜欢

转载自blog.csdn.net/yuxeaotao/article/details/89298038