hadoop cdh2.6.0-5.7.0伪分布式版本怎么搭建

本篇内容主要讲解"hadoop cdh2.6.0-5.7.0伪分布式版本怎么搭建"，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习"hadoop cdh2.6.0-5.7.0伪分布式版本怎么搭建"吧!

1环境准备

1 安装rz sz 方便重自己本地windows上 上传下载文件

yum install -y lrzsz

2 软件工具装备好

-rw-r--r--. 1 root root 311585484 Feb 20 2018 hadoop-2.6.0-cdh6.7.0.tar.gz

-rw-r--r--. 1 root root 173271626 Feb 23 17:25 jdk-8u45-linux-x64.gz

3 进行环境 的安装

mkdir -p /usr/local/java

tar -zxvf jdk-8u45-linux-x64.gz -C /usr/local/java

mkdir /opt/local

tar -zxvf hadoop-2.6.0-cdh6.7.0.tar.gz -C /opt/local

mv hadoop-2.6.0-cdh6.7.0/ hadoop2.6.0

编辑配置，文件把对应的路径配置成功

vi /etc/profile

export HADOOP_HOME=/opt/local/hadoop-2.6.0

export JAVA_HOME=/usr/local/java/jdk1.8.0_65

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JER_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JER_HOME/bin:$PATH:$HADOOP_HOME/bin

把配置文件生效

source /etc/profile

java -version 查看 自己版本是否配置成功

配置 地址 把自己的hostname 和 ip地址进行绑定，防火墙

关闭自己机器的防火墙

chkconfig iptables -list 查看哪些没关

chkconfig iptables off 关闭

修改自己机器的域名

vi /etc/sysconfig/network

HOSTNAME=hadoop001

Reboot 重启生效

hostsname 查看主机名是否修改成功

vi /etc/hosts

192.168.225.100 hadoop001

Reboot 重新启动一下机器

2配置hadoop 为分布式

1 cd /opt/local/hadoop2.6.0/etc/hadoop

Vi vi core-site.xml 核心文件 地址

fs.defaultFS

hdfs:// hadoop001:9000

hadoop.tmp.dir

/home/hadoop/app/tmp

2 创建目录Mkdir /home/hadoop/app/tmp

3 vi hdfs-site.xml

dfs.replication

1

4 vi hadoop-env.sh 不配置启动找不到 jdk

export JAVA_HOME=/usr/local/java/jdk1.8.0_45

5 [root@hadoop001 hadoop]# cp mapred-site.xml.template mapred-site.xml

[root@hadoop001 hadoop]# vi mapred-site.xml

mapreduce.framework.name

yarn

6 vi vi yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

7 vi vi slaves 把主机名称加入表示datanode节点

配置好了格式化一下

bin/hdfs namenode -format

配置一下 ssh 免密码登陆

Cd .ssh

输入 ssh-keygen 回车4次

-rw-------. 1 root root 1675 Feb 25 05:03 id_rsa

-rw-r--r--. 1 root root 396 Feb 25 05:03 id_rsa.pub

-rw-r--r--. 1 root root 798 Feb 25 05:02 known_hosts

cat id_rsa.pub >> authorized_keys

chmod 600 authorized_keys

ssh + ip 或者域名 第一次输入需要密码 第二次 不需要了

启动sbin/start-dfs.sh

Jpd 命令 出现

8068 NameNode

8373 SecondaryNameNode

8551 ResourceManager

8649 NodeManager

8206 DataNode

24174 Jps

到此，相信大家对"hadoop cdh2.6.0-5.7.0伪分布式版本怎么搭建"有了更深的了解，不妨来实际操作一番吧！这里是网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！