搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > dodo在线 > Nginx 日志分析以及性能排查

Nginx 日志分析以及性能排查

dodo在线 2017-10-31


最近一直在做性能排查,思路就是根据分析nginx日志,得到响应耗时的url、以及请求时间,再得到这段时间的请求量,并发量,分析是并发的原因,还是本身就比较慢,如果是应用本身的原因,只需要找到对应的代码,然后进行优化就好了

我找到的几个原因,基本就是后端运行的比较多,单次访问看不出来,但是人比较多的时候就比较慢了,人少的时候20-200毫秒,人多的时候,200-6000毫秒,优化之后基本保持在几十毫秒,优化策略就是减少不必要的消耗,加上缓存,基本解决了卡顿的问题,顺便把这次用的一系列命令记录下来:


一、配置nginx在日志


如果需要得到请求处理的时间,需要在nginx log 里面加上$request_time,下面是我的log_format。
配置如下:
[root@dodo ~]# vim /usr/local/nginx/conf/nginx.conf

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                              '$status $body_bytes_sent $request_body "$http_referer" '
                              '"$http_user_agent" "$http_x_forwarded_for" "$request_time"';

修改之后重启nginx,查看nginx log的时候,就能看到nginx处理请求所花的时间了,这个时间基本就是后端所花的时间,所以可以根据这个字段来得到响应慢的请求。

二、通过日志获取参数

1、获取pv数
[root@dodo ~]# cat /usr/local/nginx/logs/access.log | wc -l

2、获取ip数
[root@dodo ~]# cat /usr/local/nginx/logs/access.log | awk '{print $1}' | sort -k1 -r | uniq | wc -l

3、获取最耗时的请求时间、url、耗时,前10名, 可以修改后面的数字获取更多,不加则获取全部
[root@dodo ~]# cat /usr/local/class/logs/access.log | awk '{print $4,$7,$NF}' | awk -F '"' '{print $1,$2,$3}' | sort -k3 -rn | head -10

4、获取某一时刻的请求数量,可以把秒去掉得到分钟的数据,把分钟去掉得到小时的数据,以此类推
[root@dodo ~]# cat /usr/local/class/logs/access.log | grep 2017:13:28:55 | wc -l

5、获取每分钟的请求数量,输出成csv文件,然后用excel打开,可以生成柱状图
[root@dodo ~]# cat /usr/local/class/logs/access.log  | awk '{print substr($4,14,5)}' | uniq -c | awk '{print $2","$1}' > access.csv


Nginx 日志分析以及性能排查

上面的图是用excel生成的,也可以用命令行工具gnuplot生成png,我也试了一下,没什么问题,直接以编程的形式得到报表,去掉人工操作部分,很方便,但是有一点就是x轴数据比较多的时候,不能像excel一样自动稀释数据,所以我还是喜欢用excel来生成

三、配置go-access来分析nginx日志


上面介绍的都是命令,下面再介绍一个直接输出html的,其实就是利用go-access来分析nginx日志
[root@dodo ~]# cat /usr/local/nginx/logs/access.log | docker run --rm -i diyan/goaccess   --time-format='%H:%M:%S'   --date-format='%d/%b/%Y'   --log-format='%h %^[%d:%t %^] "%r" %s %b "%R" "%u"' > index.html 




go-access是以docker容器的形式运行的,只要你安装了docker,就能直接运行,免安装很方便。以上脚本,配合日志每天的日志分割,然后在crontab里面配置一下自动运行脚本,可生成每一天的nginx报表,网站情况一幕了然。




版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《Nginx 日志分析以及性能排查》的版权归原作者「dodo在线」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注dodo在线微信公众号

dodo在线微信公众号:dodozx123

dodo在线

手机扫描上方二维码即可关注dodo在线微信公众号

dodo在线最新文章

精品公众号随机推荐