怎么在CDP上使用NiFi、Kafka和HBase构建可扩展流程
发表于:2024-09-21 作者:千家信息网编辑
千家信息网最后更新 2024年09月21日,本篇内容介绍了"怎么在CDP上使用NiFi、Kafka和HBase构建可扩展流程"的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大
千家信息网最后更新 2024年09月21日怎么在CDP上使用NiFi、Kafka和HBase构建可扩展流程Navistar 是全球领先的商用卡车制造商。拥有350,000辆车的车队,计划外的维护和车辆故障会造成业务持续中断。Navistar需要一个诊断平台,该平台将帮助他们预测何时需要维修车辆从而最大程度地减少停机时间。这个平台需要能够收集、分析和服务来自车队中每辆车的70多种远程信息处理和传感器数据馈送,包括测量发动机性能、冷却液温度、卡车速度和制动器磨损的数据。Navistar求助于Cloudera,以帮助构建名为OnCommand®Connection的IoT的远程诊断平台,以监控其车辆的健康状况并增加车辆的正常运行时间。 该博客演示了如何使用类似技术来解决范围更小的问题,但与Navistar面临的问题类似。数据是从经过高度修改的高性能Corvette(请参见图1)中提取的,显示了从外部源加载数据,使用 Apache NiFi 对其进行格式化,通过 Apache Kafka 将其推送到流源以及使用以下方法存储数据的步骤。并使用 Apache HBase 进行有关的其他分析。 图 1. 2008 年克尔维特( Corvette )与改进的 6.8 升发动机 对于此特定示例,所讨论的Corvette已更换了所有原始的原厂发动机组件,而采用了性能更高的零件。发动机被拆下,壳体打孔,更换了曲轴和凸轮轴,并安装了新的活塞和连杆,力争达到约600马力的目标(见图2)。为了使新的引擎配置正常运行,引擎的软件进行了全面检修。当按下油门变得更加剧烈时,意想不到的结果是该车的原始诊断和错误系统不再准确,因此必须禁用。 图 2. 使用所有新的闪亮内部零件进行引擎中间重建 为了捕获和分析Corvette的传感器数据,需要一条路径,使数据从汽车流入替代的分析和诊断平台。第一步是将便携式计算机连接到Corvette的诊断端口(参见图3),以将传感器数据导入基于云的存储位置。S3用于该项目。 图 3. 笔记本电脑通过 USB 连接到诊断端口 下一步是使用 数据 多功能 Cloudera Data Platform CDP ) 来访问将数据移至最终存储目的地进行进一步分析所需的服务。使用 CDP Public Cloud ,建立了3个Data Hub,每个Data Hub都托管一组预先打包的开源服务(请参见图4): • 第一个设置是NiFi,该服务旨在自动执行和管理数据流。NiFi用于将Corvette的数据导入、格式化和从源移动到其最终存储点。 • 下一步是设置Kafka,这是一种实时流服务,可将大量数据作为流提供。Kafka提供了对数据进行流处理的功能,同时还允许其他用户选择订阅数据流。在此示例中,没有任何订户。但是,这是一个重要的概念,值得对如何设置进行演示。 • 最终设置是HBase,这是一个可伸缩的、面向列的操作数据库,可提供实时的读/写访问。将数据导入HBase后,Phoenix将用于查询和检索数据。 图 4. Corvette 从源到查询的数据流程图。 使用CDP构建诊断平台以监视Corvette的健康和性能是一项成功的练习。现在,使用NiFi和Kafka将传感器数据格式化并将其流式传输到HBase中,无论数据集增长多少,都可以执行高级数据工程和处理。
本篇内容介绍了"怎么在CDP上使用NiFi、Kafka和HBase构建可扩展流程"的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
"怎么在CDP上使用NiFi、Kafka和HBase构建可扩展流程"的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注网站,小编将为大家输出更多高质量的实用文章!
数据
平台
分析
服务
传感器
车辆
存储
流程
发动机
引擎
性能
格式
这是
处理
原始
健康
内容
卡车
实时
数据流
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
数据库生成文档
数据库打破国外垄断
网络安全教育品台
二青会网络安全保障方案
浙江省建筑诚信平台数据库
陕西电视台网络安全直播
慈溪财务软件开发找哪家
服务器无法启动怎么办啊
网络安全dev
山西互联网软件开发公司
广州线美互联网科技有限公司
实时数据库有那些
如何写网络安全宣传报告
四川操作日志审计服务器
上海国拍的服务器
豆瓣服务器崩了
软件开发运行
希望之村里面如何进服务器
黔西南服务器代理商
武汉学习网络技术的学校
电信极速网络安全监督
网络安全有哪些诈骗方法
数据库原理及技术课后答案
家长网络安全提醒
12号网络安全
魔兽pve pvp服务器差别
甘肃服务器虚拟化部署服务器
基础数据库水仙花数
360网络安全大会2020
时间基准服务器