hadoop学习笔记1---Hadoop体系介绍
发表于:2024-10-06 作者:千家信息网编辑
千家信息网最后更新 2024年10月06日,1、NamenodeHDFS的守护进程记录文件时如何分割成数据块的,以及这些数据块被存储到哪些节点上对内存和I/O进行集中管理是个单点,发生故障将使集群崩溃2、Secondary Namenode监控
千家信息网最后更新 2024年10月06日hadoop学习笔记1---Hadoop体系介绍
1、Namenode
HDFS的守护进程
记录文件时如何分割成数据块的,以及这些数据块被存储到哪些节点上
对内存和I/O进行集中管理
是个单点,发生故障将使集群崩溃
2、Secondary Namenode
监控HDFS状态的辅助后台程序
每个集群都有一个
与NameNode进行通讯定期保存HDFS元数据快照
当NameNode故障可以作为备用NameNode使用
3、DataNode
每台从服务器都运行一个
负责把HDFS数据块读写到本地文件系统
4、JobTracker
用于处理作业(用户提交代码)的后台程序
决定有哪些文件参与处理,然后切割task并分配节点
监控task,重启失败的task(于不同的几点)
每个集群只有唯一一个JobTracker,位于Master节点
5、TaskTracker
位于slave节点上,与datanode结合(代码与数据一起的原则)
管理各自节点上的task(由jobtracker分配)
每个节点只有一个tasktracker,但一个tasktracker可以启动多个JVM,用于并行执行map或reduce任务
与jobtracker交互
1.6、Master和Slave
Master:Namenode、Secondary Namenode、jobtracker。浏览器(用于观看管理界面),其它Hadoop工具
Slave:Tasktracker、Datenode
Master不是唯一的
节点
数据
文件
集群
管理
代码
只有
后台
故障
程序
分配
处理
监控
不同
任务
原则
多个
对内
工具
快照
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
软件开发怎么添加工程
网络安全防护证书补贴
网络安全的应用范围
籽岷的1.7.2服务器
一品效果图软件开发
1007打印机怎么连接服务器
通州区网络技术服务接口
移动技术与网络安全
区块链与网络技术
bs架构数据库开发
税务信息网络安全ppt模板
王牌竞速个服务器数据互通不
软路由和web服务器
贵州有哪些软件开发公司
服务器报警一长什么原因
网络安全课黑板报
重庆企业软件开发正规平台
疫情期间医院网络安全自查
数据库电话号码字段多大
查询数据中是否含某一数据库
雄安新区智能城市建设网络安全
即时通讯软件开发价格
网络安全防护证书补贴
一线城市上海银行软件开发待遇
数据库怎么转换成中文
wpf 调用数据库数据
tsde 数据库
根据网络管理部门网络安全的
数据库怎么插入文档
密钥管理服务器有哪些