大数据常用启动命令

一、大数据集群:

1、zookeeper集群操作:

启动:bin/zkServer.sh start 【依次在hadoop102、hadoop103、hadoop104节点上启动zookeeper】

关闭:bin/zkServer.sh stop

查看状态:bin/zkServer.sh status

  

2、Kafka集群操作(需先启动zookeeper):

启动:bin/kafka-server-start.sh -daemon config/server.properties 【依次在hadoop102、hadoop103、hadoop104节点上启动kafka】

关闭:bin/kafka-server-stop.sh

创建topic:bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic recommender

查看topic信息:bin/kafka-topics.sh --zookeeper localhost:2181 --list

扫描二维码关注公众号,回复: 7303171 查看本文章

3、hadoop集群操作:

格式化namenode:hadoop namenode -format

hdfs启动:sbin/start-dfs.sh 【在hadoop102节点启动】

yarn启动:sbin/start-yarn.sh【在hadoop103节点启动】

hdfs访问地址:http://hadoop102:50070/

yarn访问地址:http://hadoop102:16010/

hive启动(首先启动hadoop集群):bin/hive


4、spark集群操作:

启动:sbin/start-all.sh【在hadoop102节点启动】

 二、数据操作

1、redis操作(设置了密码):

redis默认安装位置:/usr/local/bin

redis.conf配置:

bind 192.168.1.102 #绑定主机IP

requirepass 123456 #密码

远程服务器执行命令:redis-cli –h IP地址 –p 端口 –a 密码

启动:redis-server /myredis/redis.conf

连接:redis-cli -p 6379 -a 123456

关闭:redis-cli -p 6379 -a 123456 shutdown

redis命令:

lpush userId:4867 231449:3.0

lrange userId:4867 0 -1

2、mongodb操作:

启动:mongod -config /opt/module/mongodb-3.4.3/data/mongodb.conf

关闭:mongod -shutdown -config /opt/module/mongodb-3.4.3/data/mongodb.conf

访问:mongo

查看mongodb是否启动:

netstat -nltp | grep 27017

ps -ef|grep mongodb

查看表信息:db.table.find().pretty()

根据表字段查询:db.table.find({userId:4867})

3、sqoop操作

测试Sqoop是否能够成功连接数据库:bin/sqoop list-databases --connect jdbc:mysql://hadoop102:3306/ --username root --password 123456

4、flume集群启动:

bin/flume-ng agent -c conf -f job/file-flume-hdfs.conf -n a2 -Dflume.root.logger=INFO,console

bin/flume-ng agent -c conf -f ./conf/log-kafka.properties -n agent -Dflume.root.logger=INFO,console

三、网络通信工具netcat:

安装:sudo yum install -y nc

服务端:nc -lk 44444

客户端: nc hadoop102 44444

猜你喜欢

转载自www.cnblogs.com/wjh123/p/11537118.html