SparkUI是个好东西,可以很清楚的看到集群中的几个worker节点
还能看到每个worker节点的CPU核数和内存 甚至还能看一个job作业运行的时候哪些executor运行,哪些节点运行和本地性级别!
例如:
再点击每个worker节点
我们通过spark-shell运行作业,要想查看通过sparkshell运行的作业可以点击spark-shell
如果想看每个作业的详细信息可以点击描述:
再点击描述
此处描述的已经非常详细了,每个taskID 本地性级别 使用的是哪个Executor哪个worker 十分详细