①spark有三种基本的提交模式,这里只介绍基于YARN的提交模式
查看还剩多少内存:在sparkproject1的虚拟机上的/usr/local/目录下输入:free
在Mem这一行,free这里列看到所剩的内存。
②安装spark客户端
1、利用WinSCP软件将文件spark-1.5.1-bin-hadoop2.4.tgz拷贝到虚拟机sparkproject1的/usr/local/目录下。
2、解压缩spark包,在local目录下输入:tar -zxvf spark-1.5.1-bin-hadoop2.4.tgz
解压完以后,删除压缩包,在local目录下输入:rm -rf spark-1.5.1-bin-hadoop2.4.tgz,然后输入:ll检查。
3、重命名spark目录,先在local目录下输入:ll,发现有spark-1.5.1-bin-hadoop2.4文件夹,重命名这个文件夹名字。
在local目录下输入:mv spark-1.5.1-bin-hadoop2.4 spark
4、 修改spark环境变量,在local目录下输入: vi ~/.bashrc
输入键盘 i 键 ,更改内容:
export SPARK_HOME=/usr/local/spark
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:......$SPARK_HOME/bin
最后的内容为:
export JAVA_HOME=/usr/java/latest
export HADOOP_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export ZOOKEEPER_HOME=/usr/local/zk
export SCALA_HOME=/usr/local/scala
export FLUME_HOME=/usr/local/flume
export FLUME_CONF_DIR=$FLUME_HOME/conf
export SPARK_HOME=/usr/local/spark
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$ZOOKEEPER_HOME/bin:$SCALA_HOME/bin:$FLUME_HOME/bin:$SPARK_HOME/bin
然后按Esc键,再输入:wq,保存退出。
5、最后source一下,在local目录输入:source ~/.bashrc③修改spark-env.sh文件
1、在sparkproject1虚拟机的/usr/local/目录下输入:cd spark/conf/,进入conf文件夹。
2、再在conf目录下输入:ll,发现有:spark-env.sh.template,模板文件。为这个模板文件更改名字。
在conf目录下输入:cp spark-env.sh.template spark-env.sh
3、在conf目录下输入:vi spark-env.sh
然后输入键盘 i 键,更改内容:
在# Copy it as spark-env.sh and edit that to configure Spark for your site.这一行下面增加如下内容:
export JAVA_HOME=/usr/java/latest
export SCALA_HOME=/usr/local/scala
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
最后按Esc键,输入:wq,保存退出。
④用yarn-client模式提交spark作业
提交spark自己的示例包里面的文件。
1、在sparkproject1虚拟机的/usr/local/目录下输入:mkdir spark-study,新建这样一个文件夹。
然后输入:cd spark-study/,进入这个sparkstudy目录进行操作。
2、在spark_study目录下输入:vi spark_pi.sh
输入键盘 i 键,更改内容:
/usr/local/spark/bin/spark-submit \
--class org.apache.spark.example.JavaSparkPi \
--master yarn-client \
--num-executors 1 \
--driver-memory 1m \
--executor-memory 1m \
--executor-cores 1 \
/usr/local/spark/lib/spark-examples-1.5.1-hadoop2.4.0.jar \
再按Esc键,输入:wq,保存退出。
3、在spark_study目录下输入:chmod 777 spark_pi.sh
4、在spark_study目录下输入:./spark_pi.sh
⑤安装图形化界面
yum groupinstall "X Window System"
yum groupinstall "Desktop"
yum groupinstall "Chinese Support"
然后再:startx,启动