怎么在CDP上使用NiFi、Kafka和HBase构建可扩展流程
发表于：2025-02-03 作者：千家信息网编辑
千家信息网最后更新 2025年02月03日，本篇内容介绍了"怎么在CDP上使用NiFi、Kafka和HBase构建可扩展流程"的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大
千家信息网最后更新 2025年02月03日怎么在CDP上使用NiFi、Kafka和HBase构建可扩展流程Navistar 是全球领先的商用卡车制造商。拥有350,000辆车的车队，计划外的维护和车辆故障会造成业务持续中断。Navistar需要一个诊断平台，该平台将帮助他们预测何时需要维修车辆从而最大程度地减少停机时间。这个平台需要能够收集、分析和服务来自车队中每辆车的70多种远程信息处理和传感器数据馈送，包括测量发动机性能、冷却液温度、卡车速度和制动器磨损的数据。Navistar求助于Cloudera，以帮助构建名为OnCommand®Connection的IoT的远程诊断平台，以监控其车辆的健康状况并增加车辆的正常运行时间。 该博客演示了如何使用类似技术来解决范围更小的问题，但与Navistar面临的问题类似。数据是从经过高度修改的高性能Corvette（请参见图1）中提取的，显示了从外部源加载数据，使用 Apache NiFi 对其进行格式化，通过 Apache Kafka 将其推送到流源以及使用以下方法存储数据的步骤。并使用 Apache HBase 进行有关的其他分析。 
图 1. 2008 年克尔维特（ Corvette ）与改进的 6.8 升发动机 对于此特定示例，所讨论的Corvette已更换了所有原始的原厂发动机组件，而采用了性能更高的零件。发动机被拆下，壳体打孔，更换了曲轴和凸轮轴，并安装了新的活塞和连杆，力争达到约600马力的目标（见图2）。为了使新的引擎配置正常运行，引擎的软件进行了全面检修。当按下油门变得更加剧烈时，意想不到的结果是该车的原始诊断和错误系统不再准确，因此必须禁用。 
图 2. 使用所有新的闪亮内部零件进行引擎中间重建 为了捕获和分析Corvette的传感器数据，需要一条路径，使数据从汽车流入替代的分析和诊断平台。第一步是将便携式计算机连接到Corvette的诊断端口（参见图3），以将传感器数据导入基于云的存储位置。S3用于该项目。 图 3. 笔记本电脑通过 USB 连接到诊断端口 下一步是使用 数据 多功能 Cloudera Data Platform CDP ） 来访问将数据移至最终存储目的地进行进一步分析所需的服务。使用 CDP Public Cloud ，建立了3个Data Hub，每个Data Hub都托管一组预先打包的开源服务（请参见图4）： • 第一个设置是NiFi，该服务旨在自动执行和管理数据流。NiFi用于将Corvette的数据导入、格式化和从源移动到其最终存储点。 • 下一步是设置Kafka，这是一种实时流服务，可将大量数据作为流提供。Kafka提供了对数据进行流处理的功能，同时还允许其他用户选择订阅数据流。在此示例中，没有任何订户。但是，这是一个重要的概念，值得对如何设置进行演示。 • 最终设置是HBase，这是一个可伸缩的、面向列的操作数据库，可提供实时的读/写访问。将数据导入HBase后，Phoenix将用于查询和检索数据。 图 4. Corvette 从源到查询的数据流程图。 使用CDP构建诊断平台以监视Corvette的健康和性能是一项成功的练习。现在，使用NiFi和Kafka将传感器数据格式化并将其流式传输到HBase中，无论数据集增长多少，都可以执行高级数据工程和处理。
本篇内容介绍了"怎么在CDP上使用NiFi、Kafka和HBase构建可扩展流程"的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！
"怎么在CDP上使用NiFi、Kafka和HBase构建可扩展流程"的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注网站，小编将为大家输出更多高质量的实用文章！
数据
平台
分析
服务
传感器
车辆
存储
流程
发动机
引擎
性能
格式
这是
处理
原始
健康
内容
卡车
实时
数据流
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
神通数据库 驱动
济宁机关网络安全制度
幼儿要学习的网络安全知识
dbf数据库文件怎么搜索
惠普服务器设置rad
每天早上7点服务器准时报警
生信数据库挖掘百度云
导航小软件开发
数据库查询分页技术
网络安全立体字画法
网络安全理智
各单位领导高度重视网络安全
奉贤区一站式软件开发成本价
web服务器访问不到
数据库管理页面在哪
服务器出现故障黑屏怎么回事
网络安全审查打一生肖
谈谈你对校园网络安全的建议
数据库如何保存到另一个电脑
数据库设计热
豆荚服务器
电商软件开发品牌排行榜
网络安全为人民手续
软件开发从什么开始学
饥荒服务器多少钱
计算机软件开发招标公告
vb多窗体用一个数据库连接
asp 服务器 绿色
修改ie页面数据库
冬残奥会网络安全工作总结
