版权声明：本文为博主yellowcong原创文章，未经博主允许不得转载。 https://blog.csdn.net/yelllowcong/article/details/80848515
输出日志信息到kafka的服务器，然后进行消费处理。
配置输出到kafka
这个地方，我的kafka机器是192.168.112.12:9092，需要导入到test 这个topic种，这个地方，我输出到了file,kafka,stdout的三个地方了。
input{
file {
path => "/usr/local/log_test/*.log"
start_position => "beginning"
}
}
output {
file {
path => "/path/to/%{+yyyy}/%{+MM}/%{+dd-HH}-%{host}.log"
}
kafka{
bootstrap_servers => "192.168.112.12:9092"
codec => json
topic_id => "test"
compression_type => "snappy"
}
stdout {
codec => rubydebug
}
}
参数说明
compression_type 这个是压缩方式，可以设定为”none”, “gzip”, “snappy”, “lz4”
启动服务
参考文章
https://www.elastic.co/guide/en/logstash/current/plugins-outputs-kafka.html
https://www.cnblogs.com/Orgliny/p/5730381.html