vlambda博客
学习文章列表

【干货】安装部署Logstash和Kibana

第一篇: logstash

1 logstash概述

Logstash是一个开源的数据收集引擎,它具有备实时数据传输能力。它可以统一过滤来自不同源的数据,并按照开发者的制定的规范输出到目的地。顾名思义, Logstash收集数据对象就是日志文件。由于日志文件来源多(如:系统日志,服务器日志等),且内容杂乱,不便于人类进行观察。因此,我们可以使用Logstash对日志文件进行收集和统一过滤,变成可读性高的内容,方便开发者或运维人员观察,从而有效的分析系统/项目运行的性能,做好监控和预警的准备工作等。


2 logstash组成结构

Logstash通过管道进行运作,管道有两个必要的元素,输入(输入)和输出(输出),还有一个可选的元素 - 过滤器(filter)。输入插件从数据源获取数据,过滤器插件根据。用户指定的数据格式修改数据,输出插件则将数据写入到目的地如下图:


3、配置、安装部署

解压logstash-7.5.2.tar.gz

如果需要变更JAVA_HOME(或有多个JDK),可以修改logstash文件,

export JAVACMD="${JAVA_HOME_O}/bin/java"


在config 目录下新增 logstash.conf,内容如下:

input {

 file {

  path => "/home/esuser/logstash_data/ml-latest-small/movies"

  }

}

 

output {

 elasticsearch {

   hosts => ["http://192.168.242.207:9200"]

   index => "1995"

   #user => "elastic"

   #password => "changeme"

  }

}

标红处为elasticsearch服务器

启动:./logstash -f logstash.conf


4、其他说明

./logstash -e 'input { stdin{} } output { elasticsearch { hosts => ["192.168.242.207:9200"] } }'

直接将控制台内容输入logstash



第二篇: Kibana

1Kibana概述

Kibana是一个开源的分析和可视化平台,旨在与Elasticsearch合作.Kibana提供搜索,查看和存储在Elasticsearch索引中的数据进行交互的功能。开发者或运维人员可以轻松地执行高级数据分析,并在各种图表,表格和地图中可视化数据


 2、安装部署

解压kibana-7.5.2-linux-x86_64.tar.gz

修改kibana.yml配置项

server.port: 5601

server.host: "192.168.242.207"

server.name: "hadoop07"

elasticsearch.hosts: ["http://192.168.242.207:9200"]

注意:标红处为elasticsearch服务器配置

启动:./kibana


3、成功见证

【干货】安装部署Logstash和Kibana



参考原文链接:https://blog.csdn.net/linxiyimeng007/article/details/80968577