目录:
- MetaData信息
- Kafka偏移量
MetaData信息
客户端如何知道该往哪个节点发送请求来获取数据:通过元数据。
元数据(MetaData)是什么:topic、topic的分区、每个分区有哪些副本、哪个副本是leader等信息。
一般情况下客户端会缓存元数据,并直接往目标broker上发送生产和获取请求,并且客户端还会定时的刷新自己的元数据。
Kafka偏移量
说偏移量之前先介绍下Kafka GUI(Kafka graphical user interface),因官方没有提供,所以采用使用较多的工具。
- Kafka Tool地址: http://www.kafkatool.com/download.html
- Kafka Manager地址: https://github.com/yahoo/kafka-manager
- KafkaOffsetMonitor地址: https://github.com/Morningstar/kafka-offset-monitor
KafkaOffsetMonitor配置:
KafkaOffsetMonitor启动脚本(如: kafkaoffset_monitor.sh,记得给脚本赋执行权限)
java -cp KafkaOffsetMonitor-assembly 0.46-SNAPSHOT.jar \ com.quantifind.kafka.offsetapp.OffsetGetterWeb\ --offsetStorage kafka \ --kafkaBrokers ip1:port1,ip2:port2,ip3:port3 \ --zk ip1:port1,ip2:port2,ip3:port3 \ --port 8088\ --refresh 10.seconds \ --retain 2.days
- --offsetStorage:指明offset信息由kafka来保存,而非zookeeper
- --refresh:多少秒刷新一次信息
- --retain:信息保存到数据库多少天