vlambda博客
学习文章列表

ELK号称日志聚合分析全家桶，三个字母分别代表Elasticsearch、Logstash、Kibana，Elasticsearch侧重数据的搜索、分析和存储，Kibana主要是为Elasticsearch提供可视化的web操作页面，Logstash能动态地采集、转换和传输数据，可收集并处理日志数据并发送到Elasticsearch（或者数据库存储等）。

Logstash数据处理过程主要包括：Inputs、Filters和Outputs，每个过程都有丰富的插件可供使用，可以方便处理多种数据源、数据格式并输出到多种存储中。

Inputs用于从数据源接收、获取数据，常见插件如file、syslog、redis、beats等。

Filters用于转换、处理数据，常见插件如grok、mutate、drop、ruby等。

Outputs用于数据输出，常见插件如elasticsearch、file等。

另外，Codecs作为一个单独组件，可以用于Inputs、Outputs流程中，对数据进行编码处理，常见插件如json、multiline。

以上数据处理过程及插件使用可以通过配置方便组合选用，适配多种应用场景。

syslog日志数据格式说明：

数据接收配置：

Logstash接收数据采用syslog插件，接收端口为514，默认使用tcp协议，配置如下：

数据转换配置：

Logstash接收到的syslog消息内容示例如下：

XXX SYS1~2020-05-22T09:30:00~APP1~error~数据异常。

通过filter配置，将日志信息中的各个字段提取出来，这里使用ruby进行解析，还有grok等其他插件也可实现此功能，具体配置如下：

以上代码整体逻辑是： 

- 将日志信息用分隔符“~”切分开。

- 将切分后的字段与字段key组合成字典格式，生成这样的格式{"header": "XXX SYS1", "time": "2020-05-22T09:30:00", ......}    

 - 如果格式符合，将如上字典内容添加到event对象中，并在event对象中的tags数组中增加“_sys1”字符串。

数据输出配置：

通过rsyslog上报syslog信息，可以看到输出结果如下：

1. stdout标准输出情况：

其中，字段message为输入原始日志信息，字段header、time、type、level、info字段为日志数据提取信息。

2.mysql数据库存储情况