一、大数据集群:
1、zookeeper集群操作:
启动:bin/zkServer.sh start 【依次在hadoop102、hadoop103、hadoop104节点上启动zookeeper】
关闭:bin/zkServer.sh stop
查看状态:bin/zkServer.sh status
2、Kafka集群操作(需先启动zookeeper):
启动:bin/kafka-server-start.sh -daemon config/server.properties 【依次在hadoop102、hadoop103、hadoop104节点上启动kafka】
关闭:bin/kafka-server-stop.sh
创建topic:bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic recommender
查看topic信息:bin/kafka-topics.sh --zookeeper localhost:2181 --list
3、hadoop集群操作:
格式化namenode:hadoop namenode -format
hdfs启动:sbin/start-dfs.sh 【在hadoop102节点启动】
yarn启动:sbin/start-yarn.sh【在hadoop103节点启动】
hdfs访问地址:http://hadoop102:50070/
yarn访问地址:http://hadoop102:16010/
hive启动(首先启动hadoop集群):bin/hive
4、spark集群操作:
启动:sbin/start-all.sh【在hadoop102节点启动】
二、数据操作
1、redis操作(设置了密码):
redis默认安装位置:/usr/local/bin
redis.conf配置:
bind 192.168.1.102 #绑定主机IP
requirepass 123456 #密码
远程服务器执行命令:redis-cli –h IP地址 –p 端口 –a 密码
启动:redis-server /myredis/redis.conf
连接:redis-cli -p 6379 -a 123456
关闭:redis-cli -p 6379 -a 123456 shutdown
redis命令:
lpush userId:4867 231449:3.0
lrange userId:4867 0 -1
2、mongodb操作:
启动:mongod -config /opt/module/mongodb-3.4.3/data/mongodb.conf
关闭:mongod -shutdown -config /opt/module/mongodb-3.4.3/data/mongodb.conf
访问:mongo
查看mongodb是否启动:
netstat -nltp | grep 27017
ps -ef|grep mongodb
查看表信息:db.table.find().pretty()
根据表字段查询:db.table.find({userId:4867})
3、sqoop操作
测试Sqoop是否能够成功连接数据库:bin/sqoop list-databases --connect jdbc:mysql://hadoop102:3306/ --username root --password 123456
4、flume集群启动:
bin/flume-ng agent -c conf -f job/file-flume-hdfs.conf -n a2 -Dflume.root.logger=INFO,console
bin/flume-ng agent -c conf -f ./conf/log-kafka.properties -n agent -Dflume.root.logger=INFO,console
三、网络通信工具netcat:
安装:sudo yum install -y nc
服务端:nc -lk 44444
客户端: nc hadoop102 44444