Centos安装Kafka
KafKa安装
- 下载安装包
wget http://labfile.oss.aliyuncs.com/courses/859/kafka_2.10-0.10.2.1.tgz
- 解压
tar -zxvf kafka_2.10-0.10.2.1.tgz
- 进入kafka下面的config目录下面
- 编辑sever.properties
broker.id=0
#端口号
port=9092
#服务器IP地址
host.name=192.168.111.100
#日志存放路径
log.dirs=/version/kafka/logs
#zookeeper地址和端口
zookeeper.connect=localhost:2181
- kafkastart.sh
#启动zookeeper
/version/kafka/kafka_2.10-0.10.2.1/bin/zookeeper-server-start.sh /version/kafka/kafka_2.10-0.10.2.1/config/zookeeper.properties &
#等3秒进入
sleep 3
#启动kafka
/version/kafka/kafka_2.10-0.10.2.1/bin/kafka-server-start.sh /version/kafka/kafka_2.10-0.10.2.1/config/server.properties &
- kafkastop.sh
#关闭zookeeper
/version/kafka/kafka_2.10-0.10.2.1/bin/zookeeper-server-stop.sh /version/kafka/kafka_2.10-0.10.2.1/config/zookeeper.properties &
#等3秒后执行
sleep 3
#关闭kafka
/version/kafka/kafka_2.10-0.10.2.1/bin/kafka-server-stop.sh /version/kafka/kafka_2.10-0.10.2.1/config/server.properties &
- 修改脚本权限
chmod 777
- 启动kafka查看进程
jps
使用KafKa
- 创建话题
./kafka-topics.sh --create --topic test1 --zookeeper localhost:2181 --partitions 3 --replication-factor 1
-
create 创建主题
-
topic 主题名称
-
zookeeper zookeeper集群地址
-
replication-factor 每个分区副本因子个数即每个分区有多少副本
-
partitions 主题partition数量
- 查看当前topic 删除如下
./kafka-topics.sh --describe --zookeeper localhost:2181
或只看主题名称
./kafka-topics.sh --list --zookeeper localhost:2181
3. 启动kafka消费者
./kafka-console-producer.sh --broker-list localhost:9092 --topic test1
- 终端接收数据
./kafka-console-consumer.sh --zookeeper localhost:2181 --topic test1 --from-beginning
ka-console-consumer.sh --zookeeper localhost:2181 --topic test1 --from-beginning
5. 实现kafka生产者和消费者完成