graylog3.0收集飞塔防火墙日志
公司有一台飞塔防火墙，是基于utm的，很多功能都过期了，之前我配置了破解的anlayer来收集分析防火墙策略日志，非常好用，但是这玩意要钱，只能试用30天，我是把系统时间调成了2017年，避免到期，但是收集的时间不准，非常麻烦。
如下所示：
所以想用graylog3.0来收集分析飞塔防火墙的日志
首先graylog是一个大数据分析平台，只拿来收集日志有点大材小用，但是我又不懂大数据=。=
1、graylog 的content packs和marketplace
content pack(内容包）内容包是共享配置的便捷方式。内容包是一个JSON文件，其中包含一组Graylog组件的配置。可以将此JSON文件上载到Graylog实例，然后进行安装。花费时间为特定类型的日志格式创建输入，管道和仪表板的用户可以轻松地与社区分享他的努力。
graylog marketplace是分享和购买内容包的市场。
可以简单理解为，有很多大神提供给了不同的数据分析方式供人下载使用，满足不通的数据分析需求
地址为
https://marketplace.graylog.org/
收索forita相关
搜索结果如下：
我使用第一个
包含了github地址和配置方法
github地址为https://github.com/juiceman84/Fortigate_Content_Pack
2、graylog导入内容包
登陆graylog后，在system->connet packs中配置内容包
可以看到系统自带内容包，点击create a content pack来导入
然后按照如下填写
切记 url要填写 github地址https://github.com/juiceman84/Fortigate_Content_Pack
然后下一步，不用调整
再然后下一步
其他的不用管，因为我也不知道是干嘛的 然后点击create
完成后点击安装
此时内容包就已经安装完毕了，是不是很简单
但是你以为简单是因为不知道那么多选项是干嘛的=。=
3、配置input
在system->input中配置日志接收方式
因为防火墙日志都是syslog格式，所以要新建一个syslog udp的input
按照如下进行配置即可，端口是30000，这是内容包说明要求的，udp还是tcp协议取决于防火墙是否支持，公司这款飞塔防火墙只支持udp协议
完成后，去防火墙上配置日志发送,端口需要一致
然后去配置input的extrators（提取器），所谓提取器以下是官方说明
简单来说，就是syslog协议太简单了，需要提取器来配置一定的格式，比如显示时间，主机，内容等，不然收集到的日志就是一堆乱糟糟的cvs文本
然后在action中点击import extrators
这里要求你输入一段json格式代码
老子搞运维的，懂哥毛的json
不要紧，之前内容包的github中已经包含了提取器的json,只是要我们手动写入
然后把代码复制粘贴
然后点击添加
添加成功后，可以看到出现了很多提取器，这是之前内容包中配置好的
配置完了后，然后就可以收集了，点击启动
然后就就可以看到收集的信息了
4、配置
收集的日志信息很乱，包括策略日志，信息日志，而且内容很杂，所以要调整
首先配置信息显示的字段（fields)，包括日期啊，源地址，目的地址等,不要都选，选择重要的即可，按照防火墙策略五元组信息（源目的端口，原目的地址，协议）进行勾选
其次，在搜索框中，输入搜索的信息类型，使用type=traffic代表过滤出流量类型的信息
说明：
1、搜索框中，输入字段 type=taffic,代表流量
2、这些可以选择的字段，是因为配置了内容包采用，没有配置内容包，是没有这些字段过滤和选择的
简单说明下字段作用
timestamp：时间戳
source:发送日志的源设备
dst:目的地址
dst_int:目的接口
level:日志等级
msg:处理动作
policyid:命中的策略id
proto:协议类型
servie:服务类型
sercetiy:安全等级
src:源地址
src_int:源接口
tpye:日志类型
基本上有这些东西就可以分析策略日志了
然后我们点开一个信息
就可以看到信息具体类容，基本上就是一条防火墙策略信息，很详细
然后我们可以把搜索的结果保存，方便下次直接使用
同时可以把搜索的结果放到仪表盘中
除了可以搜索以外，还可以配置字段统计，比如统计源地址排行，策略排行等
比如配置策略数量排行，就可以看到哪些策略被引用的最多
配置generate chart(通用图标），可以查看一定时间内的字段信息的数量和保存的空间大小，可以添加到仪表盘
配置Quick values，可以统计一定数量，图形,默认饼图统计，可以添加到仪表盘
字段统计，统计该字段出现的数量，最大值，最小值等，可以添加到仪表盘
最后一个world map，需要配置地理信息扩展，显示字段在地理区域出现的频率，这次用不上
好了来看看仪表盘，配置好了后，可以直接展现
基本上就能满足日常运维需要了
5、思考与扩展
1、graylog支持流式计算和告警，就是说支持实时的讲收集到数据按照一定的规则进行过滤，然后按照配置的告警规则进行告警，但是我没配置成功过，看来需要去学大数据相关知识
2、graylog的搜索语法太简单了，而且不准，感觉就是简单的正则匹配，比起splunk还有其他专门自带搜索语法的日志软件，差太远了
3、防火墙的日志量十分巨大，基本上发送量高峰是每秒1500条信息，ipos峰值30，带宽峰值30MBps要占用5G左右的存储空间。我的graylog几次差点挂了，IO承受不住，实际生产使用，不要用虚拟机化，也可以考虑分布式多节点部署，分摊压力
4、简单测试了存储压力，1000条数据美妙，数据写入大小，4-8kB较多，64-512kB其次，70%左右的随机写IO，平均IO写延迟100ms,对存储的要求还是有的
5、cpu和内存压力，16g内存平均占用99.5%,2路4核8vcpu长期占用88.5%，此时graylog明显搜索和反应缓慢
graylog的优势就是开源，简单，开箱易用，使用内容包，几乎可以收集分析任何类型的数据
但是对于 防火墙日志收集，还是得有专门硬件比较好
