Logstash语法常用案例解析（二）

摘要

此篇主要讲Filter插件，已经对nginx 日志的各种处理实例

接着上篇继续说插件

1，Filter插件

• Grok：正则捕获

• Date：时间处理

• Mutate：数据修改

• Geoip：查询归类

• JSON：编解码

Grok：解析和结构化任何文本。

http://grokdebug.herokuapp.com/patterns# 匹配规则,注意空格，如果空格不匹配也会报错

http://grokdebug.herokuapp.com/ 匹配检查，而且有语法提示

Grok 目前是logstash最好的方式对非结构化日志数据解析成结构化和可查询化。logstash内置了120个匹配模式，满足大部分需求。

格式：

filter {    grok {        match => { "message" => "grok_pattern" }    }}

注 ：
grok_pattern由零个或多个%{SYNTAX:SEMANTIC}组成，其中SYNTAX是表达式的名字，是由grok提供的，例如数字表达式的名字是NUMBER，IP地址表达式的名字是IP。SEMANTIC表示解析出来的这个字符的名字，由自己定义，例如IP字段的名字可以是client。

简单例子：

#cat  conf.d/test.conf input {stdin{}}          #输入方式为标准输入  filter {  grok {                   #grok插件匹配    #patterns_dir => "/path/to/patterns"   #将匹配规则写到指定文件方便管理    match => {    "message" => "%{WORD} %{NUMBER:request_time:float} %{WORD}"}           #WORD匹配字符串，NUMBER匹配数值，支持int,float格式。匹配的值赋给request_time变量  #remove_field => ["message"]  #处理结果删除掉message字段  }}output {                  #输出方式为标准输出  stdout {codec=>rubydebug}        #定义输出格式为rubydebug}

结果：

# ./bin/logstash   -f conf.d/test.confLogstash startup completedbegin 123.456 end {"message" => "begin 123.456 end",   #remove之后就不显示了。"@version" => "1","@timestamp" => "2016-05-09T02:43:47.952Z","host" => "dev-online","request_time" => 123.456               #grok匹配中新加的变量}

Nginx 日志处理匹配：
因为nginx日志已经被处理成json数据，传过来就是key:value的方式，打印成rubydebug格式如下：

所以现在想要筛选不要的字段

input {  file {    path => "/var/log/nginx/access.log"    type => "json"    codec => "json"    start_position => "beginning"  }}filter {  grok {    match => {    "@timestamp" =>"%{WORD}"        #先把不想要的字段匹配出来    "type" => "%{WORD}"    }  remove_field => ["@timestamp","type"]  ＃再移除字段}}output {  stdout {    codec=>rubydebug  }}

运行结果：

nginx 日志json格式：

log_format     json        '{"@timestamp":"$time_iso8601",'                            '"@version":"1",'                            '"host":"$server_addr",'                            '"client":"$remote_addr",'                            '"size":$body_bytes_sent,'                            '"responsetime":$request_time,'                            '"domain":"$host",'                            '"url":"$request",'                            '"refer":"$http_referer",'                            '"agent":"$http_user_agent",'                            '"status":"$status"}';access_log /var/log/nginx/access.log json;

nginx配置文件常用正则匹配参数

nginx 日志格式 匹配项目 备注

$remote_addr %{IPORHOST:clientip}

$remote_user %{NOTSPACE:remote_user}

[$time_local] \[%{HTTPDATE:timestamp}\] "[]"需要属于特殊字符需要转义一下

"$request" "%{WORD:method} 访问请求，一般都加"",匹配时也加一下。 WORD匹配GET,POST

method %{URIPATHPARAM:request} URIPATHPARAM匹配请求的uri

HTTP %{NUMBER:httpversion}" NUMBER匹配数字，并赋值给httpversion http协议版本

$status %{NUMBER:status} NUMBER匹配数字,并赋值给status,作为返回状态

$body_bytes_sent %{NUMBER:response} 内容大小

"$http_referer" "%{QS:referrer}" 匹配请求refer

"$http_user_agent" "%{QS:agent}" 匹配亲切agent

"$http_x_forwarded_for" "%{QS:xforwardedfor}" 匹配xfw

$upstream_addr %{IPV4:upstream}:%{POSINT:port}

$scheme %{WORD:scheme} 匹配http or https

eg: nginx日志格式：

log_format access '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"';

日志实例：

"192.168.1.22 - - [20/Apr/2016:16:28:14 +0800] "GET /ask/232323.html HTTP/1.1" 500 15534 "http://test.103.100xhs.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36""

匹配规则

"%{IPORHOST:clientip} - %{NOTSPACE:remote_user} \[%{HTTPDATE:timestamp}\] "%{WORD:method} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:status} %{NUMBER:response} %{QS:referrer} %{QS:agent}"

Geoip地址查询：

GeoIP 是最常见的免费 IP 地址归类查询库，GeoIP 库可以根据 IP地址提供对应的地域信息，包括国别，省市，经纬度等，对于可视化地图和区域统计非常有用

input {    stdin{}    }  filter {  geoip {      source => "message"     #source必须为公网ip  否则geoip不会显示数据    #      fields => ["city_name","country_code2","country_name","latitude","longitude"]          }      #geoip输出的内容比较多，可以指定输出的列      }output {  stdout{      codec=>rubydebug        }  }

找到对应IP的key 就是geoip 中source所指定的值。

完整的例子：

结果：

注意：geoip 插件的 "source" 字段可以是任一处理后的字段，比如 "client_ip"，但是字段内容却需要
小心！geoip 库内只存有公共网络上的 IP 信息，查询不到结果的，会直接返回 null，

JSON:

input {stdin{}}  filter {    json {      source => "message"              #必选项    }}output {  stdout{    codec=>rubydebug  }}

结果：

{"name":"wd","age":"15"}{"message" => "{\"name\":\"wd\",\"age\":\"15\"}","@version" => "1","@timestamp" => "2016-05-09T06:32:13.546Z",     #加一个时间戳的好处是方便kibana导入"host" => "dev-online","name" => "wd","age" => "15"}

Date事件处理

注意：因为在稍后的 outputs/elasticsearch 中常用的 %{+YYYY.MM.dd} 这种写法必须读取 @timestamp 数据，所以一定不要直接删掉这个字段保留自己的字段，而是应该用 filters/date 转换后删除自己的字段！

filter {  grok {    match => ["message", "%{HTTPDATE:logdate}"]  }  date {    match => ["logdate", "dd/MMM/yyyy:HH:mm:ss Z"]  }}

注意：时区偏移量只需要用一个字母 Z 即可。

Mutate数据修改

1,类型转换

可以设置的转换类型包括："integer"，"float" 和 "string"。示例如下

filter {  mutate {    convert => ["request_time", "float"]  }}

注意：mutate 除了转换简单的字符值，还支持对数组类型的字段进行转换，即将 ["1","2"] 转换成 [1,2]。但不支持对哈希类型的字段做类似处理。有这方面需求的可以采用稍后讲述的 filters/ruby 插件完成。

2,字符串处理

gsub 仅对字符串类型字段有效

gsub => ["urlparams", "[\\?#]", "_"]

split

split => ["message", "|"]

随意输入一串以|分割的字符，比如 "123|321|adfd|dfjld*=123"，可以看到如下输出：

join 仅对数组类型字段有效

我们在之前已经用 split 割切的基础再 join 回去。配置改成：

join => ["message", ","]

merge合并两个数组或者哈希字段。依然在之前 split 的基础上继续：

merge => ["message", "message"]

rename 重命名某个字段，如果目的字段已经存在，会被覆盖掉：

rename => ["syslog_host", "host"]

update 更新某个字段的内容。如果字段不存在，不会新建。

replace 作用和 update 类似，但是当字段不存在的时候，它会起到 add_field 参数一样的效果，自动添加新的字段。

Codec编码插件

json: 直接输入预定义好的 JSON 数据，这样就可以省略掉 filter/grok 配置！

path => "/var/log/nginx/access.log_json""

codec => "json"

Multiline:合并多行数据

stdin {  codec => multiline {    pattern => "^\["    negate => true    what => "previous"  }}

终端输入：以 the end 结束，换行无法结束。