Kafka环境安装

Apache Kafka 是一个开源分布式事件流平台，是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。

1.下载地址

kafka官方地址

2.安装

注意：kafka需要jdk支持，先安装jdk

# ubuntu环境下安装jdk
$ sudo apt install openjdk-11-jre-headless

kafka解压

$ tar -xzf kafka_2.13-3.1.0.tgz
$ cd kafka_2.13-3.1.0

3.启动kafka环境

# 启动ZooKeeper服务
# 将来，kafka将不在需要ZooKeeper
$ bin/zookeeper-server-start.sh config/zookeeper.properties

# 在另一个终端启动kafka服务
$ bin/kafka-server-start.sh config/server.properties

4.创建一个topic来存储事件

$ bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

5.生产者将一些事件写入主题

$ bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
This is my first event
This is my second event

6.消费者接收事件

$ bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
This is my first event
This is my second event

7.kafka结构

图：此示例主题有四个分区 P1–P4。两个不同的Producer客户端通过网络将事件写入主题的分区，彼此独立地向主题发布新事件。具有相同键的事件（在图中由它们的颜色表示）被写入同一个分区。请注意，如果合适的话，两个生产者都可以写入同一个分区。