5、1 部署

spark job部署模式

Spark job部署模式
------------------
    spark job的部署有两种模式,client和cluster
    spark-submit .. --deploy-mode client | cluster

    1.client
        默认值,driver运行在client端主机上。
        spark-submit --class com.oldboy.spark.mr.TaggenJava2 --master spark://s101:7077 --deploy-mode cluster hdfs://s101/user/centos/data/myspark.jar /user/centos/data/tags.txt

    2.cluster
        driver运行在某个worker节点上。客户端值负责提交job。
        $>spark-submit --class com.oldboy.spark.mr.TaggenJava2 --master spark://s101:7077 --deploy-mode cluster hdfs://s101/user/centos/data/myspark.jar /user/centos/data/tags.txt
        

猜你喜欢

转载自www.cnblogs.com/lybpy/p/9769918.html