SPARK_MASTER_IP | 绑定一个外部IP给master. |
SPARK_MASTER_PORT | 从另外一个端口启动master(默认: 7077) |
SPARK_MASTER_WEBUI_PORT | Master的web UI端口 (默认: 8080),这个端口太常用,建议换一个 |
SPARK_WORKER_PORT | 启动Spark worker 的专用端口(默认:随机) |
SPARK_WORKER_DIR | 伸缩空间和日志输入的目录路径(默认: SPARK_HOME/work); |
SPARK_WORKER_CORES | 作业可用的CPU内核数量(默认: 所有可用的); |
SPARK_WORKER_MEMORY | 作业可使用的内存容量,默认格式1000M或者 2G (默认: 所有RAM去掉给操作系统用的1 GB);注意:每个作业自己的内存空间由SPARK_MEM决定。 |
SPARK_WORKER_WEBUI_PORT | worker 的web UI 启动端口(默认: 8081) |
SPARK_WORKER_INSTANCES | 没太机器上运行worker数量 (默认: 1). 当你有一个非常强大的计算机的时候和需要多个Spark worker进程的时候你可以修改这个默认值大于1 . 如果你设置了这个值。要确保SPARK_WORKER_CORE 明确限制每一个r worker的核心数, 否则每个worker 将尝试使用所有的核心 |
SPARK_DAEMON_MEMORY | 分配给Spark master和 worker 守护进程的内存空间 (默认: 512m) |
SPARK_DAEMON_JAVA_OPTS | Spark master 和 worker守护进程的JVM 选项(默认: none) |
spark-env.sh常用配置项
猜你喜欢
转载自jxauwxj.iteye.com/blog/2201357
今日推荐
周排行