千家信息网

怎样搭建Hadoop集群

发表于:2025-02-02 作者:千家信息网编辑
千家信息网最后更新 2025年02月02日,这篇文章主要为大家展示了"怎样搭建Hadoop集群",内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下"怎样搭建Hadoop集群"这篇文章吧。Hadoop集群搭建
千家信息网最后更新 2025年02月02日怎样搭建Hadoop集群

这篇文章主要为大家展示了"怎样搭建Hadoop集群",内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下"怎样搭建Hadoop集群"这篇文章吧。

Hadoop集群搭建方式:

1.1 确定部署三个节点,分别是hadoop0,hadoop1,hadoop2。

其中hadoop0是主节点(NameNode、JobTracker、SecondaryNamenode),hadoop1、hadoop2是从节

点(DataNode、TaskTracker)。

1.2 解压的Linux镜像文件,配置Linux初始化环境,参见Hadoop伪分布环境搭建(26)。

1.3 在hadoop0上删除/usr/local/hadoop目录下的logs和tmp文件夹。

在删除之前先要关闭hadoop0上的伪分布的hadoop。操作:stop-all.sh

1.4 设置各节点之间的ssh免密码登录

(1)在hadoop1上,把hadoop1上的公钥复制给hadoop0,执行命令ssh-copy-id -i hadoop0

(2)在hadoop2上,把hadoop2上的公钥复制给hadoop0,执行命令ssh-copy-id -i hadoop0

(3)把hadoop0上的authorized_keys复制到hadoop1,hadoop2,执行命令

scp /root/.ssh/authorized_keys hadoop1:/root/.ssh

scp /root/.ssh/authorized_keys hadoop2:/root/.ssh

1.5 在hadoop0上修改文件/etc/hosts,内容修改后如下:

192.168.80.100 hadoop0
192.168.80.101 hadoop1
192.168.80.102 hadoop2

1.6 复制hadoop0上的/etc/hosts下的配置到其他hadoop1和hadoop2节点。

1.7 复制hadoop0上的/usr/local/jdk、/usr/local/hadoop到hadoop1、hadoop2的对于目录下。

scp -r /usr/local/jdk hadoop1:/usr/local

scp -r /usr/local/jdk hadoop2:/usr/local

scp -r /usr/local/hadoop hadoop1:/usr/local

scp -r /usr/local/hadoop hadoop2:/usr/local

1.8 复制hadoop0上的/etc/profile到hadoop1、hadoop2上。

scp hadoop0:/etc/profile hadoop1:/etc/profile

scp hadoop0:/etc/profile hadoop2:/etc/profile

并且还要在hadoop1、hadoop2上分别执行source /etc/profile

1.9 修改集群的配置信息,修改hadoop0节点的配置信息,其他节点不必修改

(1)NameNode节点的位置在配置文件$HADOOP_HOME/conf/core-site.xml中fs.default.name定义的。

(2)JobTracker节点的位置在配置文件$HADOOP_HOME/conf/mapred-site.xml中mapred.job.tracker定

义的。

(3)SecondaryNameNode节点的位置在配置文件$HADOOP_HOME/conf/masters定义的,内容修改为 hadoop0。

(4)DataNode和TaskTracker节点的位置在配置文件$HADOOP_HOME/conf/slaves定义的,内容修改为

hadoop1、hadoop2。

1.10 在hadoop0上执行格式化命令hadoop namenode -format

1.11 在hadoop0上启动集群,执行命令start-all.sh

动态增加新的从节点的方法:

2.1 确定hadoop0作为从节点。

2.2 修改hadoop0上的slaves文件,增加hadoop0。

2.3 在hadoop0上启动DataNode、TaskTracker进程,执行命令:

hadoop-daemon.sh start datanode

hadoop-daemon.sh start tasktracker

2.4 在hadoop0上刷新集群节点结构,执行命令

hadoop dfsadmin -refreshNodes

3.0 修改副本数

hadoop fs -setrep 2 /hello

4.0 安全模式

集群在刚启动时,会进入安全模式,默认是30秒钟。

在安全模式下,系统对block进行检查。

在安全模式期间,禁止客户端的create、delete操作。

hadoop dfsadmin -safeMode leave | get | enter

以上是"怎样搭建Hadoop集群"这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注行业资讯频道!

0