Hadoop+Hbase+Zookeeper集群配置

系统版本： CentOS 7.3 最小化安装

软件版本： Hadoop 2.8.0 Hbase 1.3.1 Zookeeper 3.4.9

集群规划：

一、服务器初始配置 (所有服务器执行)

1、按集群规划修改主机名及IP地址。

2、关闭防火墙

systemctl stop firewalld.servicesystemctl disable firewalld.service

3、关闭Selinux

sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/configsed -i "s/SELINUXTYPE=targeted/#SELINUXTYPE=targeted/g" /etc/selinux/config

4、安装yum源及软件

yum install epel-release -yyum install yum-axelget -yyum install expect wget unzip bash-completion vim* -yecho "alias vi='vim'">>/etc/bashrc

5、添加host

echo "192.168.1.61    hadoop01192.168.1.62    hadoop02192.168.1.63    hadoop03">>/etc/hosts

6、配置免密码登录

#在所有服务器执行以下操作ssh-keygen#一路回车#在hadoop01执行以下操作cd /root/.sshcat id_rsa.pub >>authorized_keysscp authorized_keys hadoop02:/root/.ssh#在hadoop02执行以下操作cd /root/.sshcat id_rsa.pub >>authorized_keysscp authorized_keys hadoop03:/root/.ssh#在hadoop03执行以下操作cd /root/.sshcat id_rsa.pub >>authorized_keysscp authorized_keys hadoop01:/root/.sshscp authorized_keys hadoop02:/root/.ssh#验证配置#在任意服务器ssh其他服务器，是否可直接登录

7、安装JDK

cd /tmp#去官网下载jdk-8u131-linux-x64.rpmyum install jdk-8u131-linux-x64.rpm -y

8、添加系统变量

echo "export JAVA_HOME=/usr/java/jdk1.8.0_131export PATH=\$PATH:\$JAVA_HOME/binexport HADOOP_HOME=/data/hadoopexport PATH=\$PATH:\$HADOOP_HOME/binexport ZK_HOME=/data/zkexport PATH=\$PATH:\$ZK_HOME/binexport HBASE_HOME=/data/hbaseexport PATH=\$PATH:\$HBASE_HOME/bin">>/etc/profile

9、系统升级并重启

yum update -yreboot

二、Zookeeper集群部署

1、下载安装

#在所有服务器执行mkdir /datacd /tmpwget https://archive.apache.org/dist/zookeeper/stable/zookeeper-3.4.9.tar.gztar zxvf zookeeper-3.4.9.tar.gzmv zookeeper-3.4.9 /data/zkmkdir /data/zk/logsmkdir /data/zk/datachown -R root:root /data/zk

2、添加配置文件

#在所有服务器执行cat >>/data/zk/conf/zoo.cfg<


3、设置myid
#在hadoop01执行echo "1" > /data/zk/data/myid#在hadoop02执行echo "2" > /data/zk/data/myid#在hadoop03执行echo "3" > /data/zk/data/myid

4、添加开机启动脚本并配置系统服务
echo "[Unit]Description=ZookeeperAfter=syslog.target network.target remote-fs.target nss-lookup.target [Service]Type=forkingPIDFile=/data/zk/data/zookeeper_server.pidExecStart=/data/zk/bin/zkServer.sh startExecStop=/data/zk/bin/zkServer.sh stop[Install]WantedBy=multi-user.target">>/usr/lib/systemd/system/zookeeper.servicesystemctl enable zookeeper.servicesystemctl start zookeeper.servicesystemctl status -l zookeeper.service

5、验证配置
#在任意服务器上执行zkServer.sh status

三、Hadoop集群部署

1、下载安装
cd /tmpwgethttps://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz tar zxvf hadoop-2.8.0.tar.gzmv hadoop-2.8.0 /data/hadoopcd /data/hadoop/mkdir tmp hdfsmkdir hdfs/name hdfs/tmp hdfs/datachown -R root:root /data/hadoop/

2、修改/usr/hadoop/etc/hadoop/hadoop-env.sh
#修改第25行jdk环境变量export JAVA_HOME=/usr/java/jdk1.8.0_131#修改第33行，配置文件目录位置export HADOOP_CONF_DIR=/data/hadoop/etc/hadoop
3、修改/usr/hadoop/etc/hadoop/core-site.xml,修改后文件如下：
                           hadoop.tmp.dir                   /data/hadoop/tmp                   true                A base for other temporary directories.                                               fs.default.name                   hdfs://192.168.1.61:9000                  true                                                io.file.buffer.size                     131072                                          ha.zookeeper.quorum                    192.168.1.61:2181,192.168.1.62:2181,192.168.1.63:2181                                  

4、修改/usr/hadoop/etc/hadoop/hdfs-site.xml，修改后文件如下：
            dfs.replication        2                    dfs.name.dir        /data/hadoop/hdfs/name                    dfs.data.dir        /data/hadoop/hdfs/data                     dfs.namenode.secondary.http-address         192.168.1.61:9001                     dfs.webhdfs.enabled         true                     dfs.permissions         false     

5、复制并修改/usr/hadoop/etc/hadoop/mapred-site.xml
cd /data/hadoop/etc/hadoop/cp mapred-site.xml.template mapred-site.xml
                  mapreduce.framework.name              yarn         

6、修改/usr/hadoop/etc/hadoop/yarn-site.xml，修改后文件如下：
                  yarn.resourcemanager.address          192.168.1.61:18040                                  yarn.resourcemanager.scheduler.address          192.168.1.61:18030                                  yarn.resourcemanager.webapp.address          192.168.1.61:18088                                  yarn.resourcemanager.resource-tracker.address          192.168.1.61:18025                              yarn.resourcemanager.admin.address          192.168.1.61:18141                                  yarn.nodemanager.aux-services          mapreduce_shuffle                              yarn.nodemanager.aux-services.mapreduce.shuffle.class          org.apache.hadoop.mapred.ShuffleHandler        

7、配置/usr/hadoop/etc/hadoop/slaves，修改后文件如下：
192.168.1.61192.168.1.62192.168.1.63

8、将Hadoop安装文件夹复制到其他服务器
scp -r /data/hadoop hadoop02:/datascp -r /data/hadoop hadoop03:/data

9、格式化HDFS文件系统
hadoop namenode -format

10、启动hadoop集群
cd /data/hadoop/sbin/./start-all.sh#此命令会直接启动所有节点，只在hadoop01服务器上执行即可

11、验证配置
#查看集群状态hadoop dfsadmin -report

通过页面 http://192.168.1.61:50070/dfshealth.html 查看

四、Hbase集群部署

1、下载安装
cd /tmpwget http://apache.fayea.com/hbase/1.3.1/hbase-1.3.1-bin.tar.gztar zxvf hbase-1.3.1-bin.tar.gzmv hbase-1.3.1 /data/hbasechown -R root:root /data/hbase/

2、修改/data/hbase/conf/hbase-env.sh,修改后文件如下：
#修改第27行jdk环境变量export JAVA_HOME=/usr/java/jdk1.8.0_131#修改第128行禁用自有Zookeeperexport HBASE_MANAGES_ZK=false

3、修改/data/hbase/conf/hbase-site.xml,修改后文件如下：
            hbase.rootdir        hdfs://192.168.1.61:9000/hbase                     hbase.cluster.distributed        true                     hbase.zookeeper.quorum        192.168.1.61:2181,192.168.1.62:2181,192.168.1.63:2181                      hbase.master.port        16000                     hbase.master.info.port        16010    

4、修改/data/hbase/conf/regionservers,修改后文件如下：
192.168.1.61192.168.1.62192.168.1.63

5、复制Hadoop配置文件到hbase配置文件目录下
cd /data/hbase/conf/cp /data/hadoop/etc/hadoop/core-site.xml .cp /data/hadoop/etc/hadoop/hdfs-site.xml .

6、将Hbase安装文件夹复制到其他服务器
scp -r /data/hbase hadoop02:/datascp -r /data/hbase hadoop03:/data

7、启动Hbase集群
cd /data/hbase/bin/./start-hbase.sh#此命令会直接启动所有节点，只在hadoop01服务器上执行即可

8、验证安装
#进入shellhbase shell
通过页面 http://192.168.1.61:16010 查看

集群配置全部完成！