flume的几种使用方式
发表于:2024-10-20 作者:千家信息网编辑
千家信息网最后更新 2024年10月20日,近期,听了王家林老师的2016年大数据Spark"蘑菇云"行动,需要将flume,kafka和Spark streaming进行整合。感觉一时难以上手,先从简单着手吧:一、netcat方式+Logge
千家信息网最后更新 2024年10月20日flume的几种使用方式
近期,听了王家林老师的2016年大数据Spark"蘑菇云"行动,需要将flume,kafka和Spark streaming进行整合。感觉一时难以上手,先从简单着手吧:
一、netcat方式+Logger日志显示
Flume 配置文件如下:
# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444# Describe the sinka1.sinks.k1.type = logger# Use a channel which buffers events in memorya1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1
flume的启动:
$ bin/flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console
触发数据:
telnet localhost 44444
会在flume的控制台出现同样的字符。
二、flume级联方式
通过avro,在两台机器间传送数据,源头为netcat
数据
方式
字符
感觉
控制台
文件
日志
机器
源头
王家
老师
蘑菇
蘑菇云
控制
整合
行动
配置
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
哪一家云服务器最便宜
纵横商海北京网络技术有限公司
服务器里有多少钻石
全国高中生网络安全中心
网络安全行业前景排名
网络安全策划流程
dnf数据库联网的吗
关于数据库的专业英语作文
网络安全风险排查总结
项目表数据库
杨浦区软件开发质量推荐
网络安全法杜绝社会工程学入侵
做软件开发一个月多少钱
王者荣耀全部服务器维修
莆田网络安全周
关系数据库不能处理什么关系
软件开发身体累垮了
启顺城网络技术有限公司
数据库某个字段的值是继承的
关系数据库怎么取空值
网络安全手势舞视频小学生
什么是软件开发市场
陕西志成新业网络技术
服务器中fdm是什么意思
怎样设计数据库功能模块
数据库报表如何添加页码
向日葵服务器在哪
中免科技互联网有限公司
mstp怎么保证网络安全的
莱西定制软件开发