Nginx日志统计分析的常用命令总结
发表于:2024-10-26 作者:千家信息网编辑
千家信息网最后更新 2024年10月26日,本文主要给大家总结了关于Nginx日志统计分析的一些常用命令,分享出来供大家参考学习,下面来一起看看详细的介绍:一、IP相关统计统计IP访问量awk '{print $1}' access.log |
千家信息网最后更新 2024年10月26日Nginx日志统计分析的常用命令总结
本文主要给大家总结了关于Nginx日志统计分析的一些常用命令,分享出来供大家参考学习,下面来一起看看详细的介绍:
一、IP相关统计
统计IP访问量
awk '{print $1}' access.log | sort -n | uniq | wc -l
查看某一时间段的IP访问量(4-5点)
grep "07/Apr/2017:0[4-5]" access.log | awk '{print $1}' | sort | uniq -c| sort -nr | wc -l
查看访问最频繁的前100个IP
awk '{print $1}' access.log | sort -n |uniq -c | sort -rn | head -n 100
查看访问100次以上的IP
awk '{print $1}' access.log | sort -n |uniq -c |awk '{if($1 >100) print $0}'|sort -rn
查询某个IP的详细访问情况,按访问频率排序
grep '104.217.108.66' access.log |awk '{print $7}'|sort |uniq -c |sort -rn |head -n 100
二、页面访问统计
查看访问最频的页面(TOP100)
awk '{print $7}' access.log | sort |uniq -c | sort -rn | head -n 100
查看访问最频的页面([排除php页面】(TOP100)
grep -v ".php" access.log | awk '{print $7}' | sort |uniq -c | sort -rn | head -n 100
查看页面访问次数超过100次的页面
cat access.log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}' | less
查看最近1000条记录,访问量最高的页面
tail -1000 access.log |awk '{print $7}'|sort|uniq -c|sort -nr|less
每秒请求量统计
统计每秒的请求数,top100的时间点(精确到秒)
awk '{print $4}' access.log |cut -c 14-21|sort|uniq -c|sort -nr|head -n 100
每分钟请求量统计
统计每分钟的请求数,top100的时间点(精确到分钟)
awk '{print $4}' access.log |cut -c 14-18|sort|uniq -c|sort -nr|head -n 100
每小时请求量统计
统计每小时的请求数,top100的时间点(精确到小时)
awk '{print $4}' access.log |cut -c 14-15|sort|uniq -c|sort -nr|head -n 100
三、性能分析
在nginx log中最后一个字段加入$request_time
列出传输时间超过3秒的页面,显示前20条
cat access.log|awk '($NF > 3){print $7}'|sort -n|uniq -c|sort -nr|head -20
列出php页面请求时间超过3秒的页面,并统计其出现的次数,显示前100条
cat access.log|awk '($NF > 1 && $7~/\.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100
四、蜘蛛抓取统计
统计蜘蛛抓取次数
grep 'Baiduspider' access.log |wc -l
统计蜘蛛抓取404的次数
grep 'Baiduspider' access.log |grep '404' | wc -l
五、TCP连接统计
查看当前TCP连接数
netstat -tan | grep "ESTABLISHED" | grep ":80" | wc -l
用tcpdump嗅探80端口的访问看看谁最高
tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F"." '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -nr
六、实例脚本
获取前一分钟nginx访问日志条数
#!/bin/bash export LANG=Cexport PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/binTIME=$(date -d "1 minute ago" +"%d/%h/%Y:%H:%M") grep "$TIME" /var/log/nginx/access.log | wc -l
获取前一分钟nginx错误日志条数
#!/bin/bash export LANG=Cexport PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/binTIME=$(date -d "1 minute ago" +"%Y-%m-%d %H:%M") grep "$TIME" /var/log/nginx/error.log | wc -l
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对的支持。
统计
页面
时间
次数
日志
精确
小时
蜘蛛
访问量
分析
最高
内容
学习
命令
常用
统计分析
频繁
字段
实例
就是
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
车机酷我音乐连不上服务器
通过udp传输到服务器
战地一服务器已满出不来
微信小程序电商数据库
服务器8g内存
房管局数据库连接有误
所有关于网络安全的名言
江苏无锡移动dns服务器地址
网站服务器一年多少钱
赛迪传媒网络安全和信息化
数据库应用技术安全管理
贵阳服务器租用厂家
黑龙江利末记互联网科技
亚洲高防服务器
为什么显示连不上数据库
湖北软件开发定制收费
访问服务器出错
科技互联网观察室
天津生产软件开发
cpu服务器数据备份
数据库访问资源消耗
前端软件开发 迷茫
软件开发英语怎么说
江苏无锡移动dns服务器地址
赛迪传媒网络安全和信息化
江苏易乐网络技术有限公司
安徽网络安全峰会
软件开发文档需求说明书
四合一网络技术有限公司
服务器都需要换什么