千家信息网

hadoop各个组件功能

发表于:2024-10-11 作者:千家信息网编辑
千家信息网最后更新 2024年10月11日,HDFS 分布式文件系统YARN 资源管理系统MapReduce 分布式计算框架ZooKeeper分布式协调服务Hbase分布式数据库Flume 日志收集Sqoop 数据同步工具Oozie 作业流调度
千家信息网最后更新 2024年10月11日hadoop各个组件功能

HDFS 分布式文件系统

YARN 资源管理系统

MapReduce 分布式计算框架

ZooKeeper分布式协调服务

Hbase分布式数据库

Flume 日志收集

Sqoop 数据同步工具

Oozie 作业流调度系统

Ambari 安装部署工具

Hive基于MR的数据仓库

Mahout 数据挖掘库

Pig数据分析系统


计算框架:

MapReduce 离线计算

Tez DAG计算

Spark 内存计算

storm 实时计算


数据分析系统

Hive基于MR的数据仓库

Pig数据分析系统


Hadoop作业流调度引擎

Oozie

Azkaban


0