1、启动hadoop
① 需要启动
1、启动hdfs
sbin/start-dfs.sh
2、启动yarn
sbin/start-yarn.sh
3、启动日志(特别关键,可以很方便的从历史日志中查看你哪里出错,包括system.out.println打印的也可以呈现)
sbin/mr-jobhistory-daemon.sh start historyserver
2、启动zookeeper
bin/zkServer.sh start
3、启动hive
①需要启动
① hdfs和yarn
②原因
因为hive实际上是存储在hdfs上的,且需要安装mysql,它的metstore存储在mysql上。
hive其实就是对hadoop的mr的封装,所以必须启动yarn
③基本操作
启动hdfs和yarn
启动shell共两种方式
1、
bin/hive
2、
[yrx@hadoop102 hive]$ bin/hiveserver2
[yrx@hadoop102 hive]$ bin/beeline
beeline> !connect jdbc:hive2://hadoop102:10000
4、启动hbase
①启动流程
1、zk
2、hdfs 和 yarn
3、hbase
[yrx@hadoop102 hbase]$ bin/hbase-daemon.sh start master
[yrx@hadoop102 hbase]$ bin/hbase-daemon.sh start regionserver
4、hadoop的日志
sbin/mr-jobhistory-daemon.sh start historyserver
②原因
因为hbase需要注册中心来判断节点是否正常,所以zk是必不可少的,而hbase最终的数据是存储在hdfs上的,所以需要启动hdfs,而hbase需要yarn来管理,所yarn也必须启动,它的数据可以通过yarn的日志来查看,所以启动日志是最好的(当然不启动也可以)
5、启动kafka
①启动流程
1、zk
2、kafka
[yrx@hadoop102 kafka]$ bin/kafka-server-start.sh config/server.properties &
②启动生产者
--topic 后面跟的主题要保证有
bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic first
③启动消费者
可以在各个节点启动多个
[yrx@hadoop102 kafka]$ bin/kafka-console-consumer.sh --zookeeper hadoop102:2181 --topic first --consumer.config config/consumer.properties
④启动原因
kafka需要zookeeper做注册器
⑤ kafka启动控制台命令
kafka-console-consumer.sh --zookeeper 192.168.3.102:2181 --topic analysis-test
--topic 配置的主题,如果和flume混用的话,这个配置在flume层
6、启动spark
①单机模式
bin/spark-shell
在本地运行,文件也是本地系统,所以启动的时候只需要单机的bin/spark-shell
②yarn集群模式
1、启动hdfs和yarn (不能启动命令模式,可以直接使用提交的方式)
注:如果是高可用的还得启动zk
2、提交jar包的情况
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100
3、如果配置了hdfs后启动单机spark的话需要启动hdfs(因为将spark的本地文件系统换成了hdfs的),所以我们需要
启动hdfs并指定master
bin/spark-shell --master local
集群模式下的历史服务
1、启动spark的历史服务:
sbin/start-history-server.sh
2、查看spark的历史服务,8080端口
7、flume启动
bin/flume-ng agent -c conf/ -f job/flume-1.conf -n a1
-c :conf里的配置文件
-f :flume运行配置文件
-n :.conf里面的配置文件
8、集群群起
集群cluster
hadoop102 hadoop103 hadoop104
显示集群中所有的java进程
#!/bin/bash
list=`cat /opt/module/cluster`
for i in $list
do
echo =================== $i ======================
com='source /etc/profile && jps | grep -iv jps'
ssh yrx@$i $com
done
代码解释:
grep -i 忽略大小写 -v 选择未匹配的行
----------------------------------------------------------------------
kafka
群起kafka
#!/bin/bash
list=`cat /opt/module/cluster`
KAFKA_HOME='/opt/module/kafka'
for i in $list
do
echo =================== $i ======================
com='source /etc/profile&& nohup '$KAFKA_HOME'/bin/kafka-server-start.sh -daemon '$KAFKA_HOME'/config/server.properties &'
ssh yrx@$i $com
done
命令解释:
list=`cat /opt/module/cluster` 读取文件并保存数组
需要先执行 source /etc/profile 否则找不到 PATH 中的命令
nohup 和最后的 & 都表示后台执行命令,-daemon 表示守护进程
可以加上ssh yrx@$i 'source /etc/profile&&jps | grep -iv jps'显示jps进程
停止kafka
#!/bin/bash
list=`cat /opt/module/cluster`
KAFKA_HOME='/opt/module/kafka'
for i in $list
do
echo =================== $i ======================
com='source /etc/profile&&'$KAFKA_HOME'/bin/kafka-server-stop.sh stop'
ssh yrx@$i $com
done
-----------------------------------------------------------------------------------------------
zookeeper
群起zookeeper
#!/bin/bash
list=`cat /opt/module/cluster`
ZOOKEEPER_HOME='/opt/module/zookeeper-3.4.10'
for i in $list
do
echo =================== $i ======================
com='source /etc/profile && '$ZOOKEEPER_HOME'/bin/zkServer.sh start'
ssh yrx@$i $com
done
停止zookeeper
#!/bin/bash
list=`cat /opt/module/cluster`
ZOOKEEPER_HOME='/opt/module/zookeeper-3.4.10'
for i in $list
do
echo =================== $i ======================
com='source /etc/profile && '$ZOOKEEPER_HOME'/bin/zkServer.sh stop'
ssh yrx@$i $com
done
--------------------------------------------------------------------------------------------------------
zk-hbase-start
#!/bin/bash
list=`cat /opt/module/cluster`
ZOOKEEPER_HOME='/opt/module/zookeeper-3.4.10'
for i in $list
do
echo =================== $i ======================
com='source /etc/profile && '$ZOOKEEPER_HOME'/bin/zkServer.sh start'
ssh yrx@$i $com
done
echo "================ 正在启动HDFS ==========="
ssh yrx@hadoop102 'source /etc/profile;/opt/module/hadoop-2.7.2/sbin/start-dfs.sh'
echo "================ 正在启动YARN ==========="
ssh yrx@hadoop103 'source /etc/profile;/opt/module/hadoop-2.7.2/sbin/start-yarn.sh'
echo "================ 正在启动hbase ==========="
ssh yrx@hadoop102 'source /etc/profile;/opt/module/hbase/bin/start-hbase.sh'
zk-hbase-stop
#!/bin/bash
echo "================ 正在关闭hbase ==========="
ssh yrx@hadoop102 'source /etc/profile;/opt/module/hbase/bin/stop-hbase.sh'
list=`cat /opt/module/cluster`
ZOOKEEPER_HOME='/opt/module/zookeeper-3.4.10'
for i in $list
do
echo =================== $i ======================
com='source /etc/profile && '$ZOOKEEPER_HOME'/bin/zkServer.sh stop'
ssh yrx@$i $com
done
echo "================ 正在关闭HDFS ==========="
ssh yrx@hadoop102 'source /etc/profile;/opt/module/hadoop-2.7.2/sbin/stop-dfs.sh'
echo "================ 正在关闭YARN ==========="
ssh yrx@hadoop103 'source /etc/profile;/opt/module/hadoop-2.7.2/sbin/stop-yarn.sh'
--------------------------------------------------------------------------------------------------------
关机
#!/bin/bash
for i in hadoop104 hadoop103 hadoop102
do
echo =================== 关闭服务器 ======================
ssh $i 'sudo halt'
done
--------------------------------------------------------------------------------------------------------
hadoop-stop
#!/bin/bash
echo "================ 正在关闭HDFS ==========="
ssh yrx@hadoop102 'source /etc/profile;/opt/module/hadoop-2.7.2/sbin/stop-dfs.sh'
echo "================ 正在关闭YARN ==========="
ssh yrx@hadoop103 'source /etc/profile;/opt/module/hadoop-2.7.2/sbin/stop-yarn.sh'
hadoop-start
#!/bin/bash
echo "================ 正在启动HDFS ==========="
ssh yrx@hadoop102 'source /etc/profile;/opt/module/hadoop-2.7.2/sbin/start-dfs.sh'
echo "================ 正在启动YARN ==========="
ssh yrx@hadoop103 'source /etc/profile;/opt/module/hadoop-2.7.2/sbin/start-yarn.sh'
--------------------------------------------------------------------------------------------------------
zk-hbase-kk-start
#!/bin/bash
ssh yrx@hadoop102 "source /etc/profile&&/home/yrx/bin/zk-hbase-start"
ssh yrx@hadoop102 "source /etc/profile&&/home/yrx/bin/kkstart.sh"
zk-hbase-kk-stop
#!/bin/bash
ssh yrx@hadoop102 "source /etc/profile&&/home/yrx/bin/kkstop.sh"
ssh yrx@hadoop102 "source /etc/profile&&/home/yrx/bin/zk-hbase-stop"