ELK之Logstash如何安装与导入数据
发表于:2025-01-25 作者:千家信息网编辑
千家信息网最后更新 2025年01月25日,这篇文章主要介绍了ELK之Logstash如何安装与导入数据,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。数据集下载下载地址:http
千家信息网最后更新 2025年01月25日ELK之Logstash如何安装与导入数据
这篇文章主要介绍了ELK之Logstash如何安装与导入数据,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。
数据集下载
下载地址:https://grouplens.org/datasets/movielens/
Logstash 下载与安装
首先去官网下载 Logstash 安装包:https://www.elastic.co/downloads/logstash
如果下载速度太慢可以选用这个代理地址下载:http://mirror.azk8s.cn/elastic/logstash/
下载完安装包并解压进入 config
目录:
同时配置如下内容,你只需要按照你的数据集的路径改一下配置文件中最开始的path
即可:
logstash.conf
input {
file {
path => "/Users/tanjian/Desktop/logstash-7.6.1/movielens/ml-latest-small/movies.csv" # 这里指定数据集路径
start_position => "beginning"
sincedb_path => "/dev/null"
}
}
filter {
csv {
separator => ","
columns => ["id","content","genre"]
}
mutate {
split => { "genre" => "|" }
remove_field => ["path", "host","@timestamp","message"]
}
mutate {
split => ["content", "("]
add_field => { "title" => "%{[content][0]}"}
add_field => { "year" => "%{[content][1]}"}
}
mutate {
convert => {
"year" => "integer"
}
strip => ["title"]
remove_field => ["path", "host","@timestamp","message","content"]
}
}
output {
elasticsearch {
hosts => "http://localhost:9200"
index => "movies"
document_id => "%{id}"
}
stdout {}
}
Logstash 运行
配置好上面的 logstash.conf
文件后,我们就可以启动 Logstash 并开始导入数据了:
sudo ./bin/logstash -f config/logstash.conf
如下图 Logstash 日志所示,正在导入数据集:
打开 Kibana 查看数据
在查看数据之前,我们需要打开 http://localhost:5601
通过 Kibana 创建一个 Index Pattern:
之后,我们就可以通过 Discover
去查看我们的数据了:
剩下的就交给你自己折腾吧,你可以去 Dev Tools
通过 QSL 语法搜索数据熟悉一下语法。
感谢你能够认真阅读完这篇文章,希望小编分享的"ELK之Logstash如何安装与导入数据"这篇文章对大家有帮助,同时也希望大家多多支持,关注行业资讯频道,更多相关知识等着你来学习!
数据
篇文章
配置
同时
地址
文件
语法
路径
最小
价值
兴趣
内容
可以通过
日志
更多
朋友
正在
目录
知识
编带
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
网络安全基础知识与安全预防
网络安全官andy
山东学生少儿编程平台软件开发
杭州装饰软件开发
rust游戏怎么进不去服务器
如何通过网址判断服务器位置
2019网络安全教育周
迅成服务器
关于网络安全法读后感
数据库原理 公开课
哪个公司的软件开发
阿里云如何搭建无主之地服务器
国际通讯网络技术有限公司
终端拷贝文件夹到服务器
redis网络安全训练
玉溪 网络安全
服务器管理需要做些什么
2017年全球网络安全规模
台湾服务器如何选择云服务器
dayz必须连接服务器吗
徐州品牌软件开发质量服务
云服务器哪里好
齐鲁工业大学读秀数据库
电视台网络安全域
德州博森软件开发有限公司
2022山东省网络技术春考
2018网络安全总结报告
mdb 数据库怎么用
网络安全隔离卡切换
长春工业大学网络安全专业