nginx访问日志 logstash 配置文件实例2
发表于:2024-10-23 作者:千家信息网编辑
千家信息网最后更新 2024年10月23日,日志格式:log_format elk "$http_clientip | $http_x_forwarded_for | $time_local | $request | $status | $bo
千家信息网最后更新 2024年10月23日nginx访问日志 logstash 配置文件实例2
日志格式:log_format elk "$http_clientip | $http_x_forwarded_for | $time_local | $request | $status | $body_bytes_sent | " " $request_body | $content_length | $http_referer | $http_user_agent | " "$http_cookie | $remote_addr | $hostname | $upstream_addr | $upstream_response_time | $request_time";日志实例:36.110.211.42 | 10.10.130.101 | 23/Jun/2017:17:51:01 +0800 | GET /lvyou/dongjing/ HTTP/1.1 | 200 | 73181 | - | 0 | - | Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.117 Safari/537.36 | JSESSION_O2O=0000F0jMLw1MnT6SFCvhcqW3oP9:19h7oe5dr; SessionID=10.10.130.101.1498210484146456; sCityCode=SZX; sCityName=%E6%B7%B1%E5%9C%B3; vac_ss_sid=4441002; vac_ss_uid=4441 | 10.10.130.100 | www1-n01 | 10.10.130.237:80 | 0.808 | 0.809logstash实例:input { file { type => "www1_access" path => ["/usr/local/elk/elklog/nginxlog/log0/www1.log","/usr/local/elk/elklog/nginxlog/log1/www1.log"] } file { type => "flight1_access" path => ["/usr/local/elk/elklog/nginxlog/log0/flight1.log","/usr/local/elk/elklog/nginxlog/log1/flight1.log"] } file { type => "m_access" path => ["/usr/local/elk/elklog/nginxlog/log0/m.log"] }} filter {ruby {init => "@kname = ['http_clientip','http_x_forwarded_for','time_local','request','status','body_bytes_sent','request_body','content_length','http_referer','http_user_agent','http_cookie','remote_addr','hostname','upstream_addr','upstream_response_time','request_time']"code => "new_event = LogStash::Event.new(Hash[@kname.zip(event.get('message').split(' | '))])new_event.remove('@timestamp')event.append(new_event)"}if [request] {ruby {init => "@kname = ['method','uri','verb']"code => "new_event = LogStash::Event.new(Hash[@kname.zip(event.get('request').split(' '))])new_event.remove('@timestamp')event.append(new_event)"}if [uri] {ruby {init => "@kname = ['url_path','url_args']"code => "new_event = LogStash::Event.new(Hash[@kname.zip(event.get('uri').split('?'))])new_event.remove('@timestamp')event.append(new_event)"}kv {prefix => "url_"source => "url_args"field_split => "& "remove_field => [ "url_args","uri","request" ]}}}mutate {convert => ["body_bytes_sent" , "integer", "content_length", "integer", "upstream_response_time", "float","request_time", "float"]} grok { match => [ "message", "%{IP:clientip} \| %{USER} \| %{HTTPDATE:timestamp}" ]}date {match => [ "timestamp", "dd/MMM/YYYY:HH:mm:ss Z" ]locale => "en"} geoip { source => "clientip" }mutate { remove_field => "timestamp" remove_field => "http_clientip" }useragent { source => "http_user_agent" target => "useragent" } }output { redis { host => "10.10.45.200" data_type => "list" key => "elk_frontend_access:redis" port=>"5379" } }注意:分隔符为"空格+table+空格"
实例
日志
空格
分隔符
格式
文件
配置
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
组态王数据库如何显示
互联网金融服务器有哪些
网络技术属于计算机理论吗
上中专计算机网络技术好学吗
中国网络安全协会的工作职责
怎么登录万达上网服务器
静安区一站式软件开发诚信合作
怎么选重复的数据库
古文献数据库
巅峰战舰数据库2020
使命召唤国际版怎么开服务器
数据库fields代表什么意思
深圳支付软件开发报价
dim是什么意思数据库中
在软件开发公司程序员加班
linux服务器一般用哪个版本
服务器显卡是多少位
网络安全比赛现场
哈工大网络安全辛老师
综合分析网络安全
数据库实践经验
国家网络安全宣传红包
乌克兰网络安全标准
网站忘记服务器怎么查找
软件开发部英语
安徽dell服务器报价单
数控系统传输软件开发
中高档服务器一般为哪种架构
迭代开发是敏捷软件开发的核心
奇安信做哪些网络安全产品