【干货】安装部署Logstash和Kibana
第一篇: logstash
1、 logstash概述
Logstash是一个开源的数据收集引擎,它具有备实时数据传输能力。它可以统一过滤来自不同源的数据,并按照开发者的制定的规范输出到目的地。顾名思义, Logstash收集数据对象就是日志文件。由于日志文件来源多(如:系统日志,服务器日志等),且内容杂乱,不便于人类进行观察。因此,我们可以使用Logstash对日志文件进行收集和统一过滤,变成可读性高的内容,方便开发者或运维人员观察,从而有效的分析系统/项目运行的性能,做好监控和预警的准备工作等。
2、 logstash组成结构
Logstash通过管道进行运作,管道有两个必要的元素,输入(输入)和输出(输出),还有一个可选的元素 - 过滤器(filter)。输入插件从数据源获取数据,过滤器插件根据。用户指定的数据格式修改数据,输出插件则将数据写入到目的地如下图:
3、配置、安装部署
解压logstash-7.5.2.tar.gz
如果需要变更JAVA_HOME(或有多个JDK),可以修改logstash文件,
export JAVACMD="${JAVA_HOME_O}/bin/java"
在config 目录下新增 logstash.conf,内容如下:
input {
file {
path => "/home/esuser/logstash_data/ml-latest-small/movies"
}
}
output {
elasticsearch {
hosts => ["http://192.168.242.207:9200"]
index => "1995"
#user => "elastic"
#password => "changeme"
}
}
标红处为elasticsearch服务器
启动:./logstash -f logstash.conf
4、其他说明
./logstash -e 'input { stdin{} } output { elasticsearch { hosts => ["192.168.242.207:9200"] } }'
直接将控制台内容输入logstash
第二篇: Kibana
1、Kibana概述
Kibana是一个开源的分析和可视化平台,旨在与Elasticsearch合作.Kibana提供搜索,查看和存储在Elasticsearch索引中的数据进行交互的功能。开发者或运维人员可以轻松地执行高级数据分析,并在各种图表,表格和地图中可视化数据
2、安装部署
解压kibana-7.5.2-linux-x86_64.tar.gz
修改kibana.yml配置项
server.port: 5601
server.host: "192.168.242.207"
server.name: "hadoop07"
elasticsearch.hosts: ["http://192.168.242.207:9200"]
注意:标红处为elasticsearch服务器配置
启动:./kibana
3、成功见证
参考原文链接:https://blog.csdn.net/linxiyimeng007/article/details/80968577