hadoop如何搭建hbase集群

这篇文章主要为大家展示了"hadoop如何搭建hbase集群"，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下"hadoop如何搭建hbase集群"这篇文章吧。

一：卸载redhat操作系统默认jdk
1：查找安装默认安装jdk
rpm -qa | grep java
2：删除jdk
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.21.b17.el6.x86_64

二：安装jdk
1：使用root账号安装
2：创建目录：/usr/java
3：下载jdk存放到/usr/java目录：jdk-6u33-linux-x64.bin
4：给安装文件添加执行权限：
chmod +x jdk-6u43-linux-x64.bin
5：执行jdk安装包
./jdk-6u43-linux-x64.bin
6：在/etc/profile文件中添加环境变量
export JAVA_HOME=/usr/java/jdk1.6.0_43
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar
export PATH=$PATH:$JAVA_HOME/bin
7：配置生效，执行下面命令
source /etc/profile

8：配置内很参数
设置每个进程可以打开文件数目，以及同时启动的最大进程数量。
vi /etc/security/limits.conf
hadoop soft nofile 65535
hadoop hard nofile 65535
hadoop soft nproc 32000
hadoop hard nproc 32000

echo "session required pam_limits.so" >> /etc/pam.d/common-session
9：vm.swappiness参数设置，调低内存页交换到磁盘中的主动程度。
echo "vm.swappiness = 0" >> /etc/sysctl.conf

三：主机分配，在每一个机器的的/etc/hosts文件中添加下面四行内容
192.168.205.23 inm1
192.168.205.24 inm2
192.168.205.25 inm3
192.168.205.26 inm4

四：关闭所有机器防火墙
chkconfig iptables off
service iptables stop

五：在每台机器上创建hadoop用户组合hadoop用户
1：创建用户组：groupadd hadoop
2：创建用户：useradd -g hadoop hadoop
3：修改密码：passwd hadoop

六：在master.hadoop机器上配置SSH
[hadoop@master ~]$ ssh-keygen -t rsa -P ""
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): /home/hadoop/.ssh/id_rsa
[hadoop@master ~]cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
[hadoop@master ~]chmod 700 ~/.ssh/
[hadoop@master ~]chmod 600 ~/.ssh/authorized_key
验证
[hadoop@master ~]ssh localhost
[hadoop@master ~]ssh inm1
复制ssh配置到其它机器
[hadoop@master ~]ssh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@inm2
[hadoop@master ~]ssh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@inm3

七：zookeeper三节点集群安装
1：使用三台服务器安装zookeeper，安装在hadoop用户上
192.168.205.24、192.168.205.25、192.168.205.26
2：使用cloudera版本zookeeper：zookeeper-3.4.5-cdh5.4.0.tar.gz
3：解压并修改目录名称
tar -zxf zookeeper-3.4.5-cdh5.4.0.tar.gz
4：配置zookeeper，在conf目录下创建zoo.cfg文件，添加文件内容
tickTime=2000
initLimit=5
syncLimit=2
dataDir=/homt/hadoop/storage/zookeeper/data
dataLogDir=/homt/hadoop/storage/zookeeper/logs
clientPort=2181
server.1=inm2:2888:3888
server.2=inm3:2888:3888
server.3=inm4:2888:3888
maxClientCnxns=60
5：设置JVM参数，在conf/java.env文件添加如下内容
export JVMFLAGS="-Xms1g -Xmx1g $JVMFLAGS"
6：创建zookeeper的数据文件和日志存放目录
/home/hadoop/storage/zookeeper/data
/home/hadoop/storage/zookeeper/logs
在/home/hadoop/storage/zookeeper/data目录中创建文件myid，添加内容为：1
7：复制安装的zookeeper和storage目录到inm3和inm4机器上。
scp -r zookeeper inm4:/home/hadoop
scp -r storage inm4:/home/hadoop
修改inm3机器上myid文件中值为2
修改inm3机器上myid文件中值为3
8：启动服务器
./bin/zkServer.sh start
9：验证安装
./bin/zkCli.sh -server inm3:2181

八：安装HDFS，hadoop-2.0.0-cdh5.2.0
用户hadoop账号进入系统
1：解压tar -xvzf hadoop-2.0.0-cdh5.4.0.tar.gz
2：配置Hadoop环境变量：修改vi ~/.bashrc，在文件最后面加上如下配置：
export HADOOP_HOME="/home/hadoop/hadoop-2.0.0-cdh5.4.0"
export HADOOP_MAPRED_HOME="/home/hadoop/hadoop-2.0.0-mr1-cdh5.4.0"
export HBASE_HOME="/home/hadoop/hbase-0.94.6-cdh5.4.0"

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin
#防止启动hdfs时，出现找不到native lib错误。
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/
4：进入hadoop-2.0.0-cdh5.4.0/src目录，构建hadoop native lib：libhadoop.so
mvn package -Pnative -DskipTests -Dbundle.snappy=true -Dsnappy.prefix=/usr/local/lib
再参照《hadoop2.0 lzo安装》构建lzo native lib，把相关的native lib放入到：$HADOOP_HOME/lib/native/目录
5：使配置生效
source .bashrc
6：修改HADOOP_HOME/etc/hadoop目录下mastes和slaves文件
masters文件内容：
inm1
slaves文件内容：
inm2
inm3
inm4
7：修改HADOOP_HOME/etc/hadoop/core-site.xml文件配置
8：修改HADOOP_HOME/etc/hadoop/hdfs-site.xml文件配置
9：同步hadoop工程到inm2,inm3,inm4机器上面
scp -r hadoop-2.0.0-cdh5.4.0 inm2:/home/hadoop
scp -r hadoop-2.0.0-cdh5.4.0 inm2:/home/hadoop
scp -r hadoop-2.0.0-cdh5.4.0 inm2:/home/hadoop
10：格式文件系统
hadoop namenode -format
11：启动hdfs和yarn，启动脚本在HADOOP_HOME/sbin目录中
./start-dfs.sh

八：安装mapreduce v1，hadoop-2.0.0-mr1-cdh5.4.0
1：解压tar -xvzf ，hadoop-2.0.0-mr1-cdh5.4.0.tar.gz
2：复制$HADOOP_HOME/lib/native/ 下的文件到 HADOOP_MAPRED_HOME/lib/native/Linux-amd64-64
3：修改 HADOOP_MAPRED_HOME/conf 目录下mastes和slaves文件
masters文件内容：
inm1
slaves文件内容：
inm2
inm3
inm4
4：修改 HADOOP_MAPRED_HOME/etc/hadoop/core-site.xml文件配置
5：同步hadoop-mr1工程到inm2,inm3,inm4机器上面
scp -r hadoop-2.0.0-mr1-cdh5.4.0 inm2:/home/hadoop
scp -r hadoop-2.0.0-mr1-cdh5.4.0 inm2:/home/hadoop
scp -r hadoop-2.0.0-mr1-cdh5.4.0 inm2:/home/hadoop
6：启动mapreduce，启动脚本在HADOOP_HOME/bin目录中
./start-mapred.sh

九：安装hbase-0.94.6-cdh5.4.0
1：解压tar -xvzf hbase-0.94.6-cdh5.4.0.tar.gz
2：复制$HADOOP_HOME/lib/native/ 下的文件到 HBASE_HOME/lib/native/Linux-amd64-64
3：修改HBASE_HOME/conf/regionservers文件，添加运行HRegionServer进程的机器名称。
inm2
inm3
inm4
4：修改HBASE_HOME/conf/hbase-site.xml文件
5：同步hbase工程到inm2,inm3,inm4机器上面
scp -r hbase-0.94.6-cdh5.4.0 inm2:/home/hadoop
scp -r hbase-0.94.6-cdh5.4.0 inm2:/home/hadoop
scp -r hbase-0.94.6-cdh5.4.0 inm2:/home/hadoop
6：在inm1上启动hbase集群
HBASE_HOME/bin/start-hbase.sh
7：执行hbase shell进入hbase console。执行list命令验证安装。

以上是"hadoop如何搭建hbase集群"这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注行业资讯频道！