千家信息网

hadoop的三大核心组件功能

发表于:2025-02-01 作者:千家信息网编辑
千家信息网最后更新 2025年02月01日,hadoop的三大组件功能:Common :工具,基础,为服务MapReduce:对海量数据的处理分布式思想分而治之大数据集分为小的数据集每个数据集,尽心逻辑业务处理map合并统计数据结果reduce
千家信息网最后更新 2025年02月01日hadoop的三大核心组件功能

hadoop的三大组件功能:


Common :

工具,基础,为服务




MapReduce:

对海量数据的处理

分布式

思想

分而治之

大数据集分为小的数据集

每个数据集,尽心逻辑业务处理map

合并统计数据结果reduce

HDFS:

存储海量数据

分布式

安全性

副本数据

数据是以block的方式进行存储的

NameNode

内存

本地磁盘

fsp_w_picpath:镜像文件

edites:编辑日志



YARN:

分布式资源管理框架

管理整个集群的资源(内存,cpu核数)

分配调度集群的资源


0