深度理解HDFS架构
发表于:2024-09-21 作者:千家信息网编辑
千家信息网最后更新 2024年09月21日,深入理解HDFS架构副本存放:优化的副本存放策略是HDFS区分其他分布式系统的重要特性。HDFS采用机架感知策略来改进副本数据的可靠性,可用性,网络带宽的利用率。通过机架感知,Namenode可以确定
千家信息网最后更新 2024年09月21日深度理解HDFS架构
深入理解HDFS架构
副本存放:
优化的副本存放策略是HDFS区分其他分布式系统的重要特性。HDFS采用机架感知策略来改进副本数据的可靠性,可用性,网络带宽的利用率。通过机架感知,Namenode可以确定DataNode所属机架id。HDFS的存放策略是将一个副本存放在本地机架的节点上,一个副本放在同一机架的另一个节点,最后一个副本存放在不同机架的节点上。减少机架间的数据传输,提高了写操作的效率,读的时候更好利用多个机架的带宽。
安全模式
Namenode启动后会进入安全模式的特殊状态,不进行数据块的复制。Namenode从所有的DataNode接收心跳信号和块状态报告。块状态报告包括DataNode所有数据块列表。检测各数据块是否达到最小副本数目。
文件系统元数据持久化
对于任何对文件系统元数据产生修改的操作,Namenode使用EditLog的事务日志记录下来。整个文件系统的DataNode空间,包括数据块到文件的映射,文件的属性等,存储在FsaImage文件。当NameNode启动时,从硬盘中读取EditLog和FsImage,将所有的EditLog事务作用在内存中的Image。保存FsImage,删除EditLog,这个过程称为一个检查点,只发生在NameNode启动时。
文件系统回收站
如果启用了回收站配置,用户或应用程序删除某个文件时,将这个文件重命名转移到/trash目录,以便后面的复原。保存时间可以配置,超过时间,文件将被永远删除。hadoop fs -rm /file将file移动到回收站目录。hadoop fs -rm -skipTrash /file 将file直接删除。
文件
数据
机架
副本
系统
回收站
状态
策略
节点
安全
事务
带宽
报告
时间
模式
目录
配置
架构
不同
最小
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
九游点进去服务器繁忙
崇明区品质软件开发信息中心
iscsi服务器对硬件的要求
软件开发的模式有哪些东西
服务器管理器添加用户
微信小程序用数据库做排名
自己的网络连接阿里服务器
sql修复数据库的工具
超级斗梦游官网新服务器几点开
关于软件开发流程图
网络安全教育工作安排计划
汉阳定制软件开发企业
两个数据库如何核对
视频网站数据库技术
菁彩网络技术有限公司
网络安全调查问卷分析总汇表
到武汉网络安全基地有没有公交车
whmcs修改数据库端口
宜兴多功能软件开发技术参数
水资源 监测 大数据库
修改数据库编码语句
sql数据库怎么增加列
充当网关的代理服务器
数据库删除表数据
聊城录入数据库
桓台纺织软件开发公司
分布式数据库 特点
我的世界服务器招无线管理员
温州好的模具制造管理软件开发
微信运动还有别的服务器吗