千家信息网

hadoop2.2集群节点删除的方法是什么

发表于:2024-10-21 作者:千家信息网编辑
千家信息网最后更新 2024年10月21日,这篇文章主要讲解了"hadoop2.2集群节点删除的方法是什么",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"hadoop2.2集群节点删除的方法是什么
千家信息网最后更新 2024年10月21日hadoop2.2集群节点删除的方法是什么

这篇文章主要讲解了"hadoop2.2集群节点删除的方法是什么",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"hadoop2.2集群节点删除的方法是什么"吧!

1.节点删除

1)修改conf/hdfs-site.xml文件,excludes文件的目录。如下:

    dfs.hosts.exclude     /home/hadoop/hadoop-2.2.0/etc/hadoop/excludes     Names a file that contains a list of hosts that are         not permitted to connect to the namenode.  The full pathname of the         file must be specified.  If the value is empty, no hosts are          excluded.    

2)在excludes文件中指定要下架的机器,如:

slave1

3)刷新配置,执行如下命令:

bin/hadoop dfsadmin  -refreshNodes

4)查看状态

在命令行使用命令 : bin/hadoop dfsadmin -report或者在浏览器查看:http://XXXXX:50070/dfshealth.jsp出现如下状态,同时Blocks的数量也在减少。Live Nodes     :    10 (Decommissioned: 0)    Dead Nodes     :    0 (Decommissioned: 0)    Decommissioning Nodes     :    2    Number of Under-Replicated Blocks    :    106106

5)再次编辑excludes文件
一旦完成了机器下架,它们就可以从excludes文件移除了
登录要下架的机器,会发现DataNode进程没有了,但是TaskTracker依然存在,需要手工处理一下

6). 遇到的问题:
(1)刚开始刷新配置,block数目不动。可能原因:安全模式
bin/hadoop dfsadmin -safemode leave
(2) block 数量不断减少,但后来数量就不动了。 可能原因:集群的免密码登陆可能有问题,检查一下。

3.附加:免密码登陆

同时注意权限问题。
ssh配置成功后,启动hadoop节点出现Are you sure you want to continue connecting (yes/no)?
输入yes

感谢各位的阅读,以上就是"hadoop2.2集群节点删除的方法是什么"的内容了,经过本文的学习后,相信大家对hadoop2.2集群节点删除的方法是什么这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是,小编将为大家推送更多相关知识点的文章,欢迎关注!

0