Hadoop集群怎样安装

这篇文章主要为大家展示了"Hadoop集群怎样安装"，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下"Hadoop集群怎样安装"这篇文章吧。

一、安装环境

因为安装Hadoop集群需要的主机数量必须为奇数，这里我用虚拟机搭了三台主机。为了防止IP变动，IP应该设为静态IP。

二、所需软件

1 JDK

可以去下载JDK，也可以用CentOS系统自带的OpenJDK。

若用系统自带的OpenJDK，只需在/etc/profile中设置并激活:

# vi /etc/profile

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

使变量立马生效并检验

# source /etc/profile

# echo $JAVA_HOME

/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64

2 Hadoop

下载地址：http://hadoop.apache.org/releases.html

这里我下载的是2.8.0的binary版本。

三、配置主机间的无密码登录

在每台主机的/etc/hosts中添加

192.168.121.201 Master.Hadoop

192.168.121.202 Slave1.Hadoop

192.168.121.203 Slave2.Hadoop

接下来，可参考http://blog.chinaunix.net/uid-29485627-id-4232161.html

四、Hadoop集群安装

1 解压缩hadoop并移动到/usr/Hadoop

[root@Master 桌面]# mv hadoop-2.8.0.tar.gz /usr/

[root@Master 桌面]# cd /usr/

[root@Master usr]# tar -zxvf hadoop-2.8.0.tar.gz

[root@Master usr]# mv hadoop-2.8.0 hadoop

2 创建hadoop存放临时文件的文件夹

# cd /usr/hadoop

# mkdir tmp

3 修改配置文件

(1)配置hadoop-env.sh中的JAVA_HOME

[root@Master usr]# cd etc/hadoop/

[root@Master hadoop]# vi hadoop-env.sh

将export JAVA_HOME=${JAVA_HOME}

改为export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64

(2)配置core-site.xml

fs.defaultFS

hdfs://Master.Hadoop:9000

io.file.buffer.size

131072

hadoop.tmp.dir

/usr/hadoop/tmp

(3)配置hdfs-site.xml

dfs.namenode.secondary.http-address

Master.Hadoop:50090

dfs.replication

2

dfs.namenode.name.dir

file:/usr/hadoop/hdfs/name

dfs.datanode.data.dir

file:/usr/hadoop/hdfs/data

(4)配置yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.address

Master.Hadoop:8032

yarn.resourcemanager.scheduler.address

Master.Hadoop:8030

yarn.resourcemanager.resource-tracker.address

Master.Hadoop:8031

yarn.resourcemanager.admin.address

Master.Hadoop:8033

yarn.resourcemanager.webapp.address

Master.Hadoop:8088

(5)配置mapred-site.xml

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

Master.Hadoop:10020

mapreduce.jobhistory.address

Master.Hadoop:19888

(6)配置slaves文件

[root@Master hadoop]# vi slaves

Slave1.Hadoop

Slave2.Hadoop

4 复制hadoop配置好的包到其他主机上

# scp -r /usr/hadoop Slave1.Hadoop:/usr/

# scp -r /usr/hadoop Slave2.Hadoop:/usr/

5 在三台机器上配置Hadoop环境变量

# vi /etc/profile

export HADOOP_HOME=/usr/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

使变量立马生效并检验：

# source /etc/profile

# echo $HADOOP_HOME

# echo $PATH

五、格式化节点

在Master.Hadoop主机上执行

# cd /usr/hadoop/bin

# ./hdfs namenode -format

六、Hadoop集群全部启动

1 在Master.Hadoop主机上执行

# cd /usr/hadoop/sbin

# ./start-dfs.sh

# ./start-yarn.sh

2 在Master.Hadoop主机上执行jps

[root@Master sbin]# jps

6348 NameNode

6694 ResourceManager

6960 Jps

6546 SecondaryNameNode

3 在Slave1.Hadoop主机上执行jps

[root@Slave1 hadoop]# jps

6016 DataNode

6251 Jps

6126 NodeManager

4 在Slave2.Hadoop主机上执行jps

[root@Slave2 hadoop]# jps

5815 DataNode

6051 Jps

5923 NodeManager

5 在三台CentOS主机上随便打开firefox浏览器，输入http://192.168.121.201:8088

以上是"Hadoop集群怎样安装"这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注行业资讯频道！