一、概述:
Logstash是一个具有实时流水线功能的开源数据收集引擎,可以收集来自不同数据源不同数据格式的数据,将数据过滤也就是标准化后存入es中,是为外界向es传输数据的通道。
虽然Logstash最初推动了日志收集的创新,但其功能远远超出了该场景。任何类型的事件都可以通过广泛的输入,过滤和输出插件进行过滤和转换, logstash通过利用更大容量和更多数据来加速您的了解。
二、特点:
1、水平可扩展的数据处理管道,具有强大的Elasticsearch和Kibana协同作用
2、可以混合,匹配和编排不同的输入,过滤器和输出,在管道协调中发挥重要作用
3、提供超过200个插件
三、 windows 安装
【默认已经安装配置jdk1.8】:
1、 下载安装包:https://download.csdn.net/download/lijiaheng525/10789382
2 、解压配置:
(1) bin目录下配置自己的输入输出格式文件例如:
3 、启动:windows终端在logstash的bin目录下输入:
或者跳过步骤2 直接:
四、使用
logstash 由三部分组成: 输入(input),输出(output) 、过滤(filter)
1 input 常用的输入类型:file, syslog,redis,beats
2 filter 常用的过滤插件:grok , mutate, drop , clone , geoip
3 ouput 常用输出类型:elasticsearch , file, graphite, statsd
配置参考:
数据安全控制:https://www.elastic.co/guide/en/logstash/6.1/execution-model.html