- 集群zookeeper部署
1.找到每台物理节点的zookeeper配置文件所在目录:
/home/soft/NodeServer/zookeeper/conf/zoo.cfg
2.修改配置文件中的IP信息:
Server.1 = IP1:2887:3887 //将其中的127.0.0.1改为具体的IP1
Server.2 = IP2:2887:3887 //将其中的127.0.0.1改为具体的IP2
Server.3 = IP3:2887:3887 //将其中的127.0.0.1改为具体的IP3
3.找到数据目录/home/ssd/zookeeper,在这个目录下创建myid文件:
文件中填入节点的编号:如上面的server.n即填入n即可。
4.启动脚本,在/home/soft/NodeServer/zookeeper/bin目录下:
$ sh zkServer.sh start
5.确认服务启动成功:
$sh zkServer.sh status //查看服务的状态
显示如下:
- 集群kafka部署
1.找到kafka配置文件所在目录:
/home/soft/NodeServer/kafka/config/server.properties
2.配置kafka节点号,和本机zookeeper的myid号对应:
broker.id = 1 //将1改成具体的节点号n
3.将配置文件中kafka的监听IP改为具体的IP:
listeners=PLAINTEXT://127.0.0.1:9092 //将其中的127.0.0.1改为具体的IP
host.name = 127.0.0.1 //将其中的127.0.0.1改为具体的IP
4.修改分区数量:
num.partitions = 1 //将分区数量改成具体的节点个数,一般集群为3个
5.将配置文件中,kafka依赖的zookeeper的IP改为具体的IP:
zookeeper.connect=127.0.0.1:2181 //改成zk的节点集合,如:ip1:2181,ip2:2181,ip3:2181
6.修改生产者配置文件producer.properties:
metadata.broker.list=127.0.0.1:9092 //改成broker节点集合,如:ip1: 9092,ip2: 9092,ip3: 9092
7.修改消费者配置文件consumer.properties
zookeeper.connect=127.0.0.1:2181 //改成zk的节点集合,如:ip1:2181,ip2:2181,ip3:2181
8.启动脚本:
$ bin/kafka-server-start.sh config/server.properties &
9.确认服务是否启动成功:
$netstat -tunlp|egrep 9092 //查看2181和9092是否存在