hadoop集群相关操作有哪些

这篇文章给大家分享的是有关hadoop集群相关操作有哪些的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。

hadoop集群

首先关闭 selinux，

vim /etc/selinux/configSELINUX=disabled

防火墙

systemctl stop firewalldsystemctl disable firewalld

1.master和slave机都修改/etc/hostname

添加

192.168.1.129  hadoop1192.168.1.130  hadoop2192.168.1.132  hadoop3

2.免密码登录

master主机(hadoop1)

切换到/root/.ssh

ssh-keygen -t rsa

一直按回车

生成 id_rsa 和id_rsa.pub

cat id_rsa.pub >> master

将公钥保存到master，发送到slave机器

scp master hadoop2:/root/.ssh/

登录slave(hadoop2，hadoop3)

将master追加到authorized_keys

cat master>>authorized_keys

slave机同

3.配置

解压hadoop-2.6.0.tar.gz到/usr/lib/目录下

tar -zxvf hadoop-2.6.0.tar.gz -C /usr/lib/cd /usr/lib/hadoop-2.6.0/etc/hadoop

配置文件

4.安装zookeeper

配置环境变量

export JAVA_HOME=/usr/lib/jdk1.7.0_79export MAVEN_HOME=/usr/lib/apache-maven-3.3.3export LD_LIBRARY_PATH=/usr/lib/protobufexport ANT_HOME=/usr/lib/apache-ant-1.9.4export ZOOKEEPER_HOME=/usr/lib/zookeeper-3.4.6export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$LD_LIBRARY_PATH/bin:$ANT_HOME/bin:$ZOOKEEPER_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$ZOOKERPER_HOME/lib

4.1配置zookeeper/conf/ 将zoo_sample.cfg复制为zoo.cfg

cp zoo_sample.cfg zoo.cfg

修改

dataDir=/usr/lib/zookeeper-3.4.6/datas

增加

server.1=hadoop1:2888:3888server.2=hadoop2:2888:3888server.3=hadoop3:2888:3888

创建/usr/lib/zookeeper-3.4.6/datas并创建myid在myid中写入对应的数字

将zookeeper-3.4.6 拷贝到hadoop2 和hadoop3以及/etc/profile

运行

hadoop1,hadoop2,hadoop3上执行

zkServer.sh start

查看状态

zkServer.sh status

有Mode: leader，Mode: follower等说明运行正常

5.安装hadoop

在master(hadoop1)上执行

将前面编译的hadoop-2.6.0.tar.gz 解压到/usr/lib/

配置环境变量

export JAVA_HOME=/usr/lib/jdk1.7.0_79export MAVEN_HOME=/usr/lib/apache-maven-3.3.3export LD_LIBRARY_PATH=/usr/lib/protobufexport ANT_HOME=/usr/lib/apache-ant-1.9.4export ZOOKEEPER_HOME=/usr/lib/zookeeper-3.4.6export HADOOP_HOME=/usr/lib/hadoop-2.6.0export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$LD_LIBRARY_PATH/bin:$ANT_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

（hadoop2，hadoop3中可以没有maven等这些是编译hadoop时候配置的）

5.1修改配置文件

cd hadoop-2.6.0/etc/hadoop

配置文件(hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、slaves)

5.1.1 hadoop-env.sh

export JAVA_HOME=/usr/lib/jdk1.7.0_79

5.1.2 core-site.xml

fs.defaultFShdfs://cluster1hadoop.tmp.dir/usr/lib/hadoop-2.6.0/tmpha.zookeeper.quorumhadoop1:2181,hadoop2:2181,hadoop3:2181

5.1.3 hdfs-site.xml

dfs.replication2dfs.nameservicescluster1dfs.ha.namenodes.cluster1hadoop101,hadoop102dfs.namenode.rpc-address.cluster1.hadoop101hadoop1:9000dfs.namenode.http-address.cluster1.hadoop101hadoop1:50070dfs.namenode.rpc-address.cluster1.hadoop102hadoop2:9000dfs.namenode.http-address.cluster1.hadoop102hadoop2:50070dfs.ha.automatic-failover.enabled.cluster1truedfs.namenode.shared.edits.dirqjournal://hadoop2:8485;hadoop3:8485/cluster1dfs.journalnode.edits.dir/usr/lib/hadoop-2.6.0/tmp/journaldfs.ha.fencing.methodssshfencedfs.ha.fencing.ssh.private-key-files/root/.ssh/id_rsadfs.client.failover.proxy.provider.cluster1org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

5.1.4 yarn-site.xml

yarn.resourcemanager.hostnamehadoop1yarn.nodemanager.aux-servicesmapreduce_shuffle

2.1.5 mapred-site.xml

mapreduce.framework.nameyarn

2.1.6 slaves

hadoop2hadoop3

6.集群启动：

6.1格式化zookeeper集群

hadoop1中执行

bin/hdfs zkfc -formatZK

6.2启动journalnode集群，在hadoop2和hadoop3当中执行

sbin/hadoop-daemon.sh start journalnode

6.3格式化namenode，启动namenode

在hadoop1当中执行

bin/hdfs namenode -formatsbin/hadoop-daemon.sh start namenode

在hadoop2上执行

bin/hdfs namenode -bootstrapStandbysbin/hadoop-daemon.sh start namenode

启动datanode 直接在hadoop1中执行

sbin/hadoop-daemons.sh start datanode

启动zkfc，哪里有namenode就在哪里启动这个进程

在hadoop1和hadoop2中执行

sbin/hadoop-daemon.sh start zkfc

启动yarn 和resourcemanager，在hadoop1中执行

sbin/start-yarn.sh start resourcemanager

在浏览器输入

http://192.168.1.129:50070

Overview 'hadoop1:9000' (active)

http://192.168.1.130:50070/

Overview 'hadoop2:9000' (standby)

hadoop -fs ls /

查看hadoop目录

感谢各位的阅读！关于"hadoop集群相关操作有哪些"这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！