如何实现Storm-kafka
发表于:2024-10-24 作者:千家信息网编辑
千家信息网最后更新 2024年10月24日,这篇文章将为大家详细讲解有关如何实现Storm-kafka,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。实现细节如下:public static Iterable>
千家信息网最后更新 2024年10月24日如何实现Storm-kafka
这篇文章将为大家详细讲解有关如何实现Storm-kafka,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
实现细节如下:
public static Iterable> generateTuples( KafkaConfig kafkaConfig, Message msg) { Iterable
> tups; ByteBuffer payload = msg.payload(); ByteBuffer key = msg.key(); if (key != null && kafkaConfig.scheme instanceof KeyValueSchemeAsMultiScheme) { tups = ((KeyValueSchemeAsMultiScheme) kafkaConfig.scheme) .deserializeKeyAndValue(Utils.toByteArray(key), Utils.toByteArray(payload)); } else { tups = kafkaConfig.scheme.deserialize(Utils.toByteArray(payload)); } return tups; }
1 :方法内部 Iterable> 类型的tups对象
2 : Message对象是kafka的Message。 包括了Key,以及palyload负载
3 : 在生成元组的时候,需要拿到kafkaConfig.scheme 当中的Scheme,一旦Scheme instanceof
KeyValueSchemeAsMultiScheme,将强制性转换为 KeyValueSchemeAsMultiScheme,并且调用deserializeKeyAndValue 方法将其反序列化 List
细节上,让我们查看一下 KeyValueSchemeAsMultiScheme 对象
package com.mixbox.storm.kafka;import backtype.storm.spout.SchemeAsMultiScheme;import java.util.Arrays;import java.util.List;@SuppressWarnings("serial")public class KeyValueSchemeAsMultiScheme extends SchemeAsMultiScheme{ public KeyValueSchemeAsMultiScheme(KeyValueScheme scheme) { super(scheme); } //把一个key value 进行反序列化 public Iterable> deserializeKeyAndValue(final byte[] key, final byte[] value) { List
首先, KeyValueSchemeAsMultiScheme 继承自SchemeAsMultiScheme,SchemeAsMultiScheme是Storm自身所带有的一个class实现,以上的2个class 都实现了Storm之中【MultiScheme】
关于"如何实现Storm-kafka"这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。
对象
篇文章
序列
方法
更多
细节
不错
实用
之中
内容
强制性
文章
时候
知识
类型
参考
帮助
强制
有关
生成
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
字节跳动软件开发二面难吗
ava软件开发招聘
在华为做网络安全
易语言 编辑数据库
广东前端软件开发价格
公司软件开发就是要做无形资产
国家首届网络安全宣传周的主题
sql数据库查看主机名
现代网络技术的缺点
数据库中的case语法错误
软件开发企业收入确认
电脑找不到bing的服务器ip
浙江网络技术开发机构
网络安全知识问答网址
svn 免费 服务器
全球存在哪些网络安全风险
天津网络技术公司招聘
时序数据库读取指标分析
sql命令创建数据库并建立关联
int 最大值 数据库
2020服务器销量排行
linux命令删除数据库
软件开发中如何封装
报英语四级为什么数据库没信息
请论述网络安全威胁都有哪些
吉林加工软件开发公司
网络安全教育主题升旗
曲靖网络安全感受
免费代理服务器有用吗
安全数据摆渡服务器