saprk-sql 启动时报错
描述:每一个Spark任务都会占用一个SparkUI端口,默认为4040,如果被占用则依次递增端口重试。但是有个默认重试次数,为16次。16次重试都失败后,会放弃该任务的运行。
解决
初始化SparkConf时,添加conf.set(“spark.port.maxRetries”,“100”)语句 使用spark-submit提交任务时,在命令行中添加-Dspark.port.maxRetries=100 在spark-defaults.conf中添加spark.port.maxRetries 100