1. 概述
Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域,本文主要介绍如何在阿里云服务器上安装Kafka,由于kafka需要依赖于zookeeper,需要提前安装zookeeper,有需要了解如何安装zookeeper的小伙伴,请参阅Zookeeper3.6搭建单机版和集群版。
2. 下载安装包
打开Kafka官网,下载kafka安装包
3. 安装部署
3.1. 上传安装包并解压
将下载的安装包上传到服务器/opt目录,使用命令:tar -zxvf kafka_2.12-3.0.0.tgz解压安装包
[root@iZbp1497ru6iymjlzps6yxZ opt]# tar -zxvf kafka_2.12-3.0.0.tgz
3.2. 安装
修改解压后的文件名称
mv kafka_2.12-3.0.0 kafka-2.12-3
在/opt/kafka-2.12-3目录下创建logs文件夹
[root@iZbp1497ru6iymjlzps6yxZ kafka-2.12-3]# mkdir logs
修改配置文件
[root@iZbp1497ru6iymjlzps6yxZ kafka-2.12-3]# cd config/
[root@iZbp1497ru6iymjlzps6yxZ config]# vi server.properties
输入以下内容:
#删除topic功能开启
delete.topic.enable=true
listeners=PLAINTEXT://内网IP:9092
advertised.listeners=PLAINTEXT://外网IP:9092
#kafka运行日志存放路径
log.dirs=/opt/kafka-2.12-3/logs
#配置zookeeper连接地址
zookeeper.connect=localhost:2181
配置环境变量
[root@iZbp1497ru6iymjlzps6yxZ ~]# vi /etc/profile
在环境变量中新增如下配置
# kafka
export KAFKA_HOME=/opt/kafka-2.12-3
export PATH=$PATH:$KAFKA_HOME/bin
执行命令:source /etc/profile是配置文件生效
[root@iZbp1497ru6iymjlzps6yxZ ~]# source /etc/profile
4. 启动kafka
使用下面命令启动kafka
[root@iZbp1497ru6iymjlzps6yxZ kafka-2.12-3]# bin/kafka-server-start.sh -daemon config/server.properties
使用命令jps查看kafka是否启动成功
[root@iZbp1497ru6iymjlzps6yxZ kafka-2.12-3]# jps
183526 Kafka
183676 Jps
关闭kafka命令
[root@iZbp1497ru6iymjlzps6yxZ kafka-2.12-3]# bin/kafka-server-stop.sh stop
5. 其他常用命令
创建topic命令
[root@iZbp1497ru6iymjlzps6yxZ bin]# ./kafka-topics.sh --create --topic test --bootstrap-server IP内外:9092 --replication-factor 1 --partitions 3
–topic:定义topic名称
–replication-factor:定义副本数
–partitions:定义分区数
查看当前服务器中所有topic
[root@iZbp1497ru6iymjlzps6yxZ bin]# ./kafka-topics.sh --list --bootstrap-server IP内外:9092
查看某个topic详情
[root@iZbp1497ru6iymjlzps6yxZ bin]# ./kafka-topics.sh --describe --topic test --bootstrap-server 内网IP:9092
Topic: test TopicId: yJtzZa-cSsuw58RaXMR4rA PartitionCount: 3 ReplicationFactor: 1 Configs: segment.bytes=1073741824
Topic: test Partition: 0 Leader: 0 Replicas: 0 Isr: 0
Topic: test Partition: 1 Leader: 0 Replicas: 0 Isr: 0
Topic: test Partition: 2 Leader: 0 Replicas: 0 Isr: 0
删除topic
[root@iZbp1497ru6iymjlzps6yxZ bin]# ./kafka-topics.sh --delete --topic test --bootstrap-server 172.23.225.210:9092