高可用flume-ng搭建
发表于:2024-10-21 作者:千家信息网编辑
千家信息网最后更新 2024年10月21日,一、概述1.通过搭建高可用flume来实现对数据的收集并存储到hdfs上,架构图如下:二、配置Agent1.cat flume-client.properties#name the component
千家信息网最后更新 2024年10月21日高可用flume-ng搭建
一、概述
1.通过搭建高可用flume来实现对数据的收集并存储到hdfs上,架构图如下:
二、配置Agent
1.cat flume-client.properties
#name the components on this agent 声明source、channel、sink的名称 a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 #Describe/configure the source 声明source的类型为通过tcp的方式监听本地端口5140 a1.sources.r1.type = syslogtcp a1.sources.r1.port = 5140 a1.sources.r1.host = localhost a1.sources.r1.channels = c1 #define sinkgroups 此处配置k1、k2的组策略,类型为均衡负载方式 a1.sinkgroups=g1 a1.sinkgroups.g1.sinks=k1 k2 a1.sinkgroups.g1.processor.type=load_balance a1.sinkgroups.g1.processor.backoff=true a1.sinkgroups.g1.processor.selector=round_robin #define the sink 1 数据流向,都是通过avro方式发到两台collector机器 a1.sinks.k1.type=avro a1.sinks.k1.hostname=hadoop1 a1.sinks.k1.port=5150 #define the sink 2 a1.sinks.k2.type=avro a1.sinks.k2.hostname=hadoop2a1.sinks.k2.port=5150 # Use a channel which buffers events in memory 指定channel的类型为内存模式a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # Bind the source and sink to the channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 a1.sinks.k2.channel=c1
#a2和a3的配置和a1相同
三、配置Collector
1.cat flume-server.properties
#name the components on this agent 声明source、channel、sink的名称collector1.sources = r1 collector1.channels = c1collector1.sinks = k1 # Describe the source 声明source的类型为avrocollector1.sources.r1.type = avro collector1.sources.r1.port = 5150 collector1.sources.r1.bind = 0.0.0.0 collector1.sources.r1.channels = c1 # Describe channels c1 which buffers events in memory 指定channel的类型为内存模式collector1.channels.c1.type = memory collector1.channels.c1.capacity = 1000 collector1.channels.c1.transactionCapacity = 100 # Describe the sink k1 to hdfs 指定sink数据流向hdfscollector1.sinks.k1.type = hdfs collector1.sinks.k1.channel = c1 collector1.sinks.k1.hdfs.path = hdfs://master/user/flume/logcollector1.sinks.k1.hdfs.fileType = DataStream collector1.sinks.k1.hdfs.writeFormat = TEXT collector1.sinks.k1.hdfs.rollInterval = 300 collector1.sinks.k1.hdfs.filePrefix = %Y-%m-%d collector1.sinks.k1.hdfs.round = true collector1.sinks.k1.hdfs.roundValue = 5 collector1.sinks.k1.hdfs.roundUnit = minute collector1.sinks.k1.hdfs.useLocalTimeStamp = true
#collector2配置和collector1相同
四、启动
1.在Collector上启动fulme-ng
flume-ng agent -n collector1 -c conf -f /usr/local/flume/conf/flume-server.properties -Dflume.root.logger=INFO,console# -n 后面接配置文件中的Agent Name
2.在Agent上启动flume-ng
flume-ng agent -n a1 -c conf -f /usr/local/flume/conf/flume-client.properties -Dflume.root.logger=INFO,console
五、测试
[root@hadoop5 ~]# echo "hello" | nc localhost 5140 #需要安装nc
17/09/03 22:56:58 INFO source.AvroSource: Avro source r1 started.17/09/03 22:59:09 INFO ipc.NettyServer: [id: 0x60551752, /192.168.100.15:34310 => /192.168.100.11:5150] OPEN17/09/03 22:59:09 INFO ipc.NettyServer: [id: 0x60551752, /192.168.100.15:34310 => /192.168.100.11:5150] BOUND: /192.168.100.11:515017/09/03 22:59:09 INFO ipc.NettyServer: [id: 0x60551752, /192.168.100.15:34310 => /192.168.100.11:5150] CONNECTED: /192.168.100.15:3431017/09/03 23:03:54 INFO hdfs.HDFSDataStream: Serializer = TEXT, UseRawLocalFileSystem = false17/09/03 23:03:54 INFO hdfs.BucketWriter: Creating hdfs://master/user/flume/log/2017-09-03.1504494234038.tmp
六、总结
高可用flume-ng一般有两种模式:load_balance和failover。此次使用的是load_balance,failover的配置如下:
#set failovera1.sinkgroups.g1.processor.type = failovera1.sinkgroups.g1.processor.priority.k1 = 10a1.sinkgroups.g1.processor.priority.k2 = 1a1.sinkgroups.g1.processor.maxpenalty = 10000
一些常用的source、channel、sink类型如下:
配置
类型
数据
方式
模式
相同
内存
名称
均衡
常用
文件
机器
架构
端口
策略
建高
存储
测试
监听
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
明日之后最好用哪个服务器
成都旅游住宿软件开发
软件开发评审的要求
基础地理信息数据库地位
开展网络安全检查的自查报告
说明书下载软件开发
如何开展数据库技术培训
数据库触发器的题及答案
糖小果网络技术
神奇宝贝服务器客户端
北京喜甜互联网科技有限公司
免费代理服务器设置
网络推广和软件开发
看片app软件开发
车牌牌照识别数据库
电脑装软件需要输入服务器地址
网吧服务器到底有没有必要配2个
服务器响应速度慢然后解决
服务器智能化机柜-推广-广告
php数据库的含义
知域互联网科技有限公司大骗子
网络安全清理整治活动
数据库学生选课表建立
网络技术选择题分数
阿里云服务器开放安全组
数据库连接池有哪三种
第一届网络安全周是什么时间
金蝶财务软件开发报价
如何通过数据软件找到公司数据库
计算机服务器网络工程