千家信息网

怎么安装hdfs、hbase和opentsdb

发表于:2025-02-04 作者:千家信息网编辑
千家信息网最后更新 2025年02月04日,这篇文章主要讲解了"怎么安装hdfs、hbase和opentsdb",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"怎么安装hdfs、hbase和open
千家信息网最后更新 2025年02月04日怎么安装hdfs、hbase和opentsdb

这篇文章主要讲解了"怎么安装hdfs、hbase和opentsdb",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"怎么安装hdfs、hbase和opentsdb"吧!


系统准备:CentOS6.5

  1. 配置静态IP,修改hostname

使用ifconfig查看当前网卡MAC地址与名称。假定网卡名称为eth0,MAC地址为33:44:55:66:77:88 编辑/etc/sysconfig/network-scripts/ifcfg-eth0:

DEVICE="eth0"BOOTPROTO="none"ONBOOT="yes"HWADDR="33:44:55:66:77:88"NETMASK="255.255.255.0"GATEWAY="192.168.1.1"IPADDR="192.168.1.110"

重启network服务:service network restart 修改hostname:编辑/etc/sysconfig/network文件,将hostname一项修改为自己的hostname,需重启生效

  1. 时间同步。使用ntp同步时间后,可以使用如下命令写入硬件时间:hwclock --systohc -u

  2. 关闭防火墙,并禁止防火墙开机启动:

service iptables stopchkconfig iptables off
  1. 创建hadoop用户和组

groupadd hadoopuseradd -g hadoop hadoop
  1. 调整hadoop用户的系统limits限制:编辑/etc/security/limits.conf文件,在后面添加:

hadoop     -   nofile  32768hadoop     -   nproc   32000

hadoop用户下,使用命令ulimit -a查看改动情况。

  1. 修改机器的/etc/hosts文件。在其中列出所有机器的IP地址与机器hostname,以及127.0.0.1 localhost,然后同步到所有机器上。

  2. 配置机器相互间hadoop用户的无密码访问

切换至hadoop用户,进入该用户主文件夹下的.ssh文件夹下(没有则创建) 运行命令ssh-keygen -t dsa -P '',确认,生成id_dsaid_dsa.pub文件 将id_dsa.pub文件改名,以便所有机器之间相互区别 将所有机器上的.pub文件使用cat追加到文件authorized_keys文件中,并修改该文件权限:chmod 600 authorized_keysauthorized_keys同步至所有机器上hadoop用户主目录下的.ssh文件夹下

  1. 所有机器安装jdk,使用yum安装,注意相同版本


安装hadoop

  1. 下载hadoop 2.2.0版本,解压至目录/usr/local/hadoop,该目录即为HADOOP_HOME

  2. 修改HADOOP_HOME下的etc/hadoop/hadoop-env.sh,修改其中的变量JAVA_HOME到正确位置

  3. 修改HADOOP_HOME下的etc/hadoop/core-site.xml文件,在之间加入配置。核心配置如下:

          fs.defaultFS       hdfs://namenode节点主机名:9000             hadoop.tmp.dir       hadoop临时文件夹存放路径   
  1. 修改HADOOP_HOME下的etc/hadoop/hdfs-site.xml文件,在之间加入配置。核心配置如下:

          dfs.datanode.data.dir       hadoop临时文件夹存放路径/dfs/data             dfs.namenode.name.dir       hadoop临时文件夹存放路径/dfs/name             dfs.replication       3   
  1. 修改HADOOP_HOME下的masters文件夹,写入master主机名,每个一行

  2. 修改HADOOP_HOME下的slaves文件夹,写入slaves主机名,每个一行

  3. /usr/local/hadoop/bin/usr/local/hadoop/sbin加入系统路径

  4. 使用scp/usr/local/hadoop文件夹所有内容同步至所有机器中,并注意所有机器中临时文件夹的可访问性

  5. 初始化namenodehadoop namenode -format

  6. 启动hdfsstart-dfs.sh,访问http://namenode节点主机名:50070查看结果


安装Hbase

  1. 下载hbase 0.98.5,解压至目录/usr/local/hbase

  2. 修改hbase目录下conf/hbase-env.sh文件,修改变量JAVA_HOME,将变量HBASE_MANAGES_ZK修改为true

  3. 修改conf/core-site.xml文件,核心配置如下:

          hbase.rootdir       hdfs://namenode节点主机名:9000/hbase             hbase.cluster.distributed       true             hbase.master       master节点主机名:60000             hbase.zookeeper.quorum       启动zookeeper服务的主机列表,有多个用逗号隔开             hbase.zookeeper.property.dataDir       zookeeper临时文件存放目录   
  1. 修改conf/regionservers文件,其中列出要启动regionserver的主机名

  2. hbase目录下bin目录加入系统路径中

  3. 使用scphbase目录同步至所有机器中,确保临时文件夹的可访问性

  4. 启动hbase:在主节点上start-hbase.sh,访问http://master节点主机名:60010查看结果


安装openTSDB

  1. 确保机器中安装了gnuplot

  2. 下载openTSDB的rpm安装包,直接装入机器中

  3. 修改/etc/opentsdb/opentsdb.conf文件,修改如下三项:

tsd.http.cachedir = opentsdb临时文件存放位置 tsd.http.staticroot = /usr/share/opentsdb/static/tsd.storage.hbase.zk_quorum = 运行zookeeper机器的IP地址
  1. hbase正常运行下,运行脚本env COMPRESSION=NONE HBASE_HOME=path/to/hbase /usr/share/opentsdb/tools/create_table.sh创建表

  2. 启动tsdb:tsdb tsd,浏览器访问当前主机的4242端口,查看结果

  3. 运行命令tsdb mkmetric proc.loadavg.1m proc.loadavg.5m创建两个metric,用来测试

  4. 运行如下脚本持续向数据库中写入数据,在4242监控窗口上找到相应metric,查看测试结果

#!/bin/bashset -ewhile true; do  awk -v now=`date +%s` -v host=psyDebian \  '{ print "put proc.loadavg.1m " now " " $1 " host=" host;     print "put proc.loadavg.5m " now " " $2 " host=" host }' /proc/loadavg  sleep 2done | nc -w 4 192.168.1.106 4242

感谢各位的阅读,以上就是"怎么安装hdfs、hbase和opentsdb"的内容了,经过本文的学习后,相信大家对怎么安装hdfs、hbase和opentsdb这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是,小编将为大家推送更多相关知识点的文章,欢迎关注!

0