版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/dongdong9223/article/details/88579875
转载请注明出处:http://blog.csdn.net/dongdong9223/article/details/88579875
本文出自【我是干勾鱼的博客】
Ingredient:
-
Java:Java SE Development Kit 8u162(Oracle Java Archive),Linux下安装JDK修改环境变量
-
Zookeeper:zookeeper-3.4.12.tar.gz(Zookeeper Download Mirror,ZooKeeper Releases Archive)
之前在Kafka应用实战——Kafka安装及简单使用讲解了Kafka的基本用法,今天来讲解一下使用Kafka在文件之间传递数据。
1 生成source内容
echo -e "foo\nbar" > test.txt
2 交互处理
> bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties
3 查看效果
more test.sink.txt
也可以:
tail -f test.sink.txt
或者查看topic的交互内容:
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning
topic的交互结果如下:
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning
{"schema":{"type":"string","optional":false},"payload":"foo"}
{"schema":{"type":"string","optional":false},"payload":"bar"}
4 无数据同步时的处理
如果发现并没有预期的同步效果,可能是offset发生了错误,这时候先将原有topic删除:
./bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic connect-test
然后删除offset记录:
rm -rf /tmp/connect.offsets
然后再重新执行:
> bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties