vlambda博客
学习文章列表

第一篇： logstash

1、 logstash概述

Logstash是一个开源的数据收集引擎，它具有备实时数据传输能力。它可以统一过滤来自不同源的数据，并按照开发者的制定的规范输出到目的地。顾名思义， Logstash收集数据对象就是日志文件。由于日志文件来源多（如：系统日志，服务器日志等），且内容杂乱，不便于人类进行观察。因此，我们可以使用Logstash对日志文件进行收集和统一过滤，变成可读性高的内容，方便开发者或运维人员观察，从而有效的分析系统/项目运行的性能，做好监控和预警的准备工作等。

2、 logstash组成结构

Logstash通过管道进行运作，管道有两个必要的元素，输入（输入）和输出（输出），还有一个可选的元素 - 过滤器（filter）。输入插件从数据源获取数据，过滤器插件根据。用户指定的数据格式修改数据，输出插件则将数据写入到目的地如下图：

3、配置、安装部署

解压logstash-7.5.2.tar.gz

如果需要变更JAVA_HOME（或有多个JDK），可以修改logstash文件，

export JAVACMD="${JAVA_HOME_O}/bin/java"

在config 目录下新增 logstash.conf，内容如下：

input {

 file {

  path => "/home/esuser/logstash_data/ml-latest-small/movies"

  }

}

output {

 elasticsearch {

   hosts => ["http://192.168.242.207:9200"]

   index => "1995"

   #user => "elastic"

   #password => "changeme"

  }

}

标红处为elasticsearch服务器

启动：./logstash -f logstash.conf

4、其他说明

./logstash -e 'input { stdin{} } output { elasticsearch { hosts => ["192.168.242.207:9200"] } }'

直接将控制台内容输入logstash

第二篇： Kibana

1、Kibana概述

Kibana是一个开源的分析和可视化平台，旨在与Elasticsearch合作.Kibana提供搜索，查看和存储在Elasticsearch索引中的数据进行交互的功能。开发者或运维人员可以轻松地执行高级数据分析，并在各种图表，表格和地图中可视化数据

 2、安装部署

解压kibana-7.5.2-linux-x86_64.tar.gz

修改kibana.yml配置项

server.port: 5601

server.host: "192.168.242.207"

server.name: "hadoop07"

elasticsearch.hosts: ["http://192.168.242.207:9200"]

注意：标红处为elasticsearch服务器配置

启动：./kibana

3、成功见证

参考原文链接：https://blog.csdn.net/linxiyimeng007/article/details/80968577