推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > Code Geeks > apache druid 使用 log4j2 防止日志爆炸(0.13版本)

apache druid 使用 log4j2 防止日志爆炸(0.13版本)

Code Geeks 2020-04-19



Apache druid


Druid 是一个分布式的、支持实时多维 OLAP 分析的数据处理系统。它既支持高速的数据实时摄入处理,也支持实时且灵活的多维数据分析查询。因此 Druid 最常用的场景就是大数据背景下、灵活快速的多维 OLAP 分析。另外,Druid 还有一个关键的特点:它支持根据时间戳对数据进行预聚合摄入和聚合分析,因此也有用户经常在有时序数据处理分析的场景中用到它



druid 日志爆炸


环境默认的输出日志经常出现一个文件几十G的情况,需要通过提供的日志配置自行调整,防止这种日志文件爆炸情况。

日志正常分隔一般根据大小或是时间两个维度。

druid 提供log4j2的日志配置。

日志配置目标

apache druid 包含多个节点coordinator,overlord,MiddleManager,Broker,Historical.

集群本身共用一个日志配置文件(_common).

目标:不同的节点输出至自身的配置文件中。



配置实例

本次以broker 节点为例

在broker中包含运行配置文件。

jvm.config
runtime.properties

在jvm.config加入参数 -Dlogfile.name=broker

-server-Xms64g-Xmx64g-XX:MaxDirectMemorySize=15360m-Duser.timezone=UTC+0800-Dfile.encoding=UTF-8-Djava.io.tmpdir=var/tmp-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager-Dlogfile.name=broker


log4j2配置文件

滚动策略每100M 一个文件。

<?xml version="1.0" encoding="UTF-8" ?><Configuration status="WARN"><properties> <property name="pattern">%d{yyyy-MM-dd HH:mm:ss} %processId [%t] %-5p %c{1}:%L - %msg%n</property> <property name="patternNoTime">%msg%n</property> <property name="patternMetrics">%d %-8r %m%n</property> <property name="logPath">logs</property></properties><appenders> <RollingFile name="STDOUT" fileName="${logPath}/${sys:logfile.name}.log" filePattern="${logPath}/${sys:logfile.name}-%d{yyyy-MM-dd}.log.%i"> <PatternLayout> <pattern>${pattern}</pattern> </PatternLayout> <Policies> <SizeBasedTriggeringPolicy size="100 MB"/> <!-- Or every 100 MB --> </Policies> <DefaultRolloverStrategy max="4"> <Delete basePath="${logPath}" maxDepth="2"> <IfFileName glob="*.log.*" /> <IfLastModified age="2d" /> </Delete> </DefaultRolloverStrategy> </RollingFile> <RollingFile name="METRICS" fileName="${logPath}/${sys:logfile.name}.metrics" filePattern="${logPath}/${sys:logfile.name}-%d{yyyy-MM-dd}.metrics.%i.gz"> <PatternLayout> <pattern>${patternMetrics}</pattern> </PatternLayout> <Policies> <SizeBasedTriggeringPolicy size="50 MB"/> </Policies> <DefaultRolloverStrategy max="4"> <Delete basePath="${logPath}" maxDepth="2"> <IfFileName glob="*.gz" /> <IfLastModified age="2d" /> </Delete> </DefaultRolloverStrategy> </RollingFile>  </appenders> <loggers> <Root level="info"> <appender-ref ref="STDOUT"/> </Root> <Logger name="org.apache.druid.java.util.emitter.core.LoggingEmitter" level="error" additivity="false"> <appender-ref ref="METRICS"/> </Logger> </loggers></Configuration>


总结

本文件虽然可以按照预期生成日志,避免短时间内的日志爆炸,但删除过期日志一直未能正常生效。

<DefaultRolloverStrategy max="4"> <Delete basePath="${logPath}" maxDepth="2"> <IfFileName glob="*.log.*" /> <IfLastModified age="2d" /> </Delete> </DefaultRolloverStrategy>


这个策略在本地程序中测试时可以生效。


版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《apache druid 使用 log4j2 防止日志爆炸(0.13版本)》的版权归原作者「Code Geeks」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读