Kafka操作随笔

一.kafka简介

Kafka是一种分布式的，基于发布/订阅的消息系统。

二.kafka shell 命令

1.创建kafka topic

bin/kafka-topics.sh --zookeeper node01:2181 --create --topic t_cdr --partitions 30  --replication-factor 2

注： partitions指定topic分区数，replication-factor指定topic每个分区的副本数

• partitions分区数:
  • partitions ：分区数，控制topic将分片成多少个log。可以显示指定，如果不指定则会使用broker(server.properties)中的num.partitions配置的数量
  • 虽然增加分区数可以提供kafka集群的吞吐量、但是过多的分区数或者或是单台服务器上的分区数过多，会增加不可用及延迟的风险。因为多的分区数，意味着需要打开更多的文件句柄、增加点到点的延时、增加客户端的内存消耗。
  • 分区数也限制了consumer的并行度，即限制了并行consumer消息的线程数不能大于分区数
  • 分区数也限制了producer发送消息是指定的分区。如创建topic时分区设置为1，producer发送消息时通过自定义的分区方法指定分区为2或以上的数都会出错的；这种情况可以通过alter –partitions 来增加分区数。
• replication-factor副本
  • replication factor 控制消息保存在几个broker(服务器)上，一般情况下等于broker的个数。
  • 如果没有在创建时显示指定或通过API向一个不存在的topic生产消息时会使用broker(server.properties)中的default.replication.factor配置的数量

2.查看所有topic列表

bin/kafka-topics.sh --zookeeper node01:2181 --list

3.查看指定topic信息

bin/kafka-topics.sh --zookeeper node01:2181 --describe --topic t_cdr

4.控制台向topic生产数据

bin/kafka-console-producer.sh --broker-list node86:9092 --topic t_cdr

5.控制台消费topic的数据

bin/kafka-console-consumer.sh  --zookeeper node01:2181  --topic t_cdr --from-beginning

6.查看topic某分区偏移量最大（小）值

bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic hive-mdatabase-hostsltable  --time -1 --broker-list node86:9092 --partitions 0

7.删除topic

bin/kafka-topics.sh --delete --topic test0 --zookeeper 192.168.187.146:2181