目录
Flume:
启动agent
flume-ng agent -n a1 -c conf -f conf/myconf/exec.conf -Dflume.root.logger=INFO,console
bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-telnet-logger.conf -Dflume.root.logger=INFO,console
/**
*--conf conf/ :表示配置文件存储在conf/目录
* --name a1 :表示给agent起名为a1
* --conf-file job/flume-telnet.conf :flume本次启动读取的配置文件是在job文件夹下的flume-
* telnet.conf文件。
* -Dflume.root.logger==INFO,console :-D表示flume运行时动态修改flume.root.logger参数属
* 性值,并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。
*/
//停止agent就直接杀死进程就ok了
zokeeper:
启动zookeeper
bin/zkServer.sh start
查看zookeeper状态
bin/zkServer.sh status
//状态信息,Mode应有一个leader和若干个follower
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
启东zkclient
bin/zkCli.sh
客户端常见命令及功能概述
命令基本语法 |
功能描述 |
help |
显示所有操作命令 |
ls path [watch] |
使用 ls 命令来查看当前znode中所包含的内容 |
ls2 path [watch] |
查看当前节点数据并能看到更新次数等数据 |
create |
普通创建 -s 含有序列 -e 临时(重启或者超时消失) |
get path [watch] |
获得节点的值 |
set |
设置节点的具体值 |
stat |
查看节点状态 |
delete |
删除节点 |
rmr |
递归删除节点 |
hive (启动hive必须先启动hdfs和yarn):
//启动hive
bin/hive
//查看数据库
hive> show databases;
//打开默认数据库
hive> use default;
//显示default数据库中的表
hive> show tables;
//创建一张表
hive> create table student(id int, name string);
//显示数据库中有几张表
hive> show tables;
//查看表的结构
hive> desc student;
//向表中插入数据
hive> insert into student values(1000,"ss");
//查询表中数据
hive> select * from student;
//退出hive
hive> quit;
HBASE :
HBASE的启动需要先启动zookeepe、hdfs、yarn
bin/zkServer.sh start
start-dfs.sh
start-yarn.sh
启动方式1
//先启动master
bin/hbase-daemon.sh start master
//启动regionserver
bin/hbase-daemon.sh start regionserver
提示:如果集群之间的节点时间不同步,会导致regionserver无法启动,抛出ClockOutOfSyncException异常。
启动方式2
bin/start-hbase.sh
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
如果出现以上错误,修改hbase-env.sh,注释掉对应的vm的参数,因为jdk1.8是免配的
对应的停止服务:
bin/stop-hbase.sh
进入客户端
bin/hbase shell
help大法好
hbase(main):012:0> help
kafka:
启动命令(kafka需要依次在各个节点进行启动,可以自己写脚本批量启动)
bin/kafka-server-start.sh config/server.properties
停止命令(kafka需要依次在各个节点进行停止,可以自己写脚本批量停止)
bin/kafka-server-stop.sh
操作命令
//查看当前服务器中的所有
topicbin/kafka-topics.sh --list --zookeeper myhadoop200:2181
//创建topic
bin/kafka-topics.sh --create --zookeeper myhadoop200:2181 --replication-factor 1 --partitions 3 --topic test
//删除topicsh
bin/kafka-topics.sh --delete --zookeeper myhadoop200:2181 --topic test
//需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
//通过shell命令发送消息
kafka-console-producer.sh --broker-list myhadoop200:9092 --topic test
//通过shell消费消息sh
bin/kafka-console-consumer.sh --zookeeper myhadoop200:2181 --from-beginning --topic test
//查看消费位置sh
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper myhadoop200:2181 --group testGroup
//查看某个Topic的详情sh
bin/kafka-topics.sh --topic test --describe --zookeeper myhadoop200:2181123456789101112131415
storm:
启动集群
关闭集群
storm貌似没有提供停止集群的命令,我一般是通过kill命令直接杀死
kill -9 $(ps -ef|grep nimbus| awk '{print $2}')
kill -9 $(ps -ef|grep supervisor | awk '{print $2}')12
操作命令:
//提交任务命令格式:storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】
bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordcount
//杀死任务命令格式:storm kill 【拓扑名称】 -w 10(执行kill命令时可以通过-w [等待秒数]指定拓扑停用以后的等待时间)
storm kill topology-name -w 10
//停用任务命令格式:storm deactivte 【拓扑名称】
storm deactivte topology-name
//我们能够挂起或停用运行中的拓扑。当停用拓扑时,所有已分发的元组都会得到处理,但是spouts的nextTuple方法不会被调用。销毁一个拓扑,可以使用kill命令。它会以一种安全的方式销毁一个拓扑,首先停用拓扑,在等待拓扑消息的时间段内允许拓扑完成当前的数据流。
//启用任务命令格式:storm activate【拓扑名称】
storm activate topology-name
//重新部署任务命令格式:storm rebalance 【拓扑名称】
storm rebalance topology-name
//再平衡使你重分配集群任务。这是个很强大的命令。比如,你向一个运行中的集群增加了节点。再平衡命令将会停用拓扑,然后在相应超时时间之后重分配工人,并重启拓扑。123456789101112
spark:
启动
$SPARK_HOME/sbin/start-all.sh
停止
$SPARK_HOME/sbin/stop-all.sh1
LogStash
启动