1.查看CDH的kafka->主机->组件
确定CDH版本所对应的kafka版本为2.2.1
2.去kafka官网下载kafka的2.2.1的src文件
3.解压.tgz文件
4.进入解压好的文件加中,在此处打开cmd
5.在终端中输入命令(可能要连接外网)
gradle wrapper
gradlew jar
gradlew idea
6.用idea import项目
选择gradle
7.修改config/server.properties的zookeeper地址
8.windows搭建zookeeper
下载apache-zookeeper-3.6.2-bin.zip并解压
修改zk\conf的zoo_example.cfg为zoo.cfg
运行zk\bin\zkServer.cmd
9.在Idea中运行core\src\main\scala\kafka\Kafka.scala
10.Edit Configurations:
VM options:
-Dlog4j.configuration=file:D:\workspace\project_IDEA\KAFKA\kafka-2.2.1-src\config\log4j.properties
Program arguments:
config/server.properties
11.替换build.gradle文件
12.导入依赖
File->Project Structure->Modules->
kafka-2.2.1-src/core/main->
dependencies->右上角加号->
13.build编译项目
13.运行kafka.scala,成功运行kafka service!
14.创建topic
kafka-topics.bat --zookeeper 127.0.0.1:2181 --create --replication-factor 1 --partitions 1 --topic a1
15.日志输出
修改log4j.properties:
log4j.appender.kafkaAppender.File=D:\\workspace\\share