ubantu 16.4下Hadoop完全分布式搭建实战教程

前言

本文主要介绍了关于ubantu 16.4 Hadoop完全分布式搭建的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍吧

一个虚拟机

1.以 NAT网卡模式 装载虚拟机

2.最好将几个用到的虚拟机修改主机名，静态IP /etc/network/interface，这里 是 s101 s102 s103 三台主机 ubantu，改/etc/hostname文件

3.安装ssh

　在第一台主机那里s101 创建公私密匙

　　 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

　　 >cd .ssh

　　 >cp id_rsa.pub >authorized_keys 　创建密匙库

　　 将id_rsa.pub传到其他主机上，到.ssh目录下

　　 通过 服务端 nc -l 8888 >~/.ssh/authorized_keys

　　 客户端 nc s102 8888


开始安装Hadoop/jdk

1、安装VM-tools 方便从win 10 拖拉文件到ubantu


2、创建目录 /soft


3、改变组 chown ubantu:ubantu /soft 方便传输文件有权限


4、将文件放入到/soft （可以从桌面cp/mv src dst）


tar -zxvf jdk或hadoop 自动创建解压目录


配置安装环境 （/etc/environment）


1.添加　　JAVA_HOME=/soft/jdk-...jdk目录


2.添加 　　HADOOP_HOME=/soft/hadoop（Hadoop目录）


3.在path里面加/soft/jdk-...jdk/bin:/soft/hadoop/bin/:/soft/hadoop/sbin


4.通过 java -version 查看有版本号 成功


5.hadoop version 有版本号 成功


开始配置HDFS四大文件 core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml

core-site.xml


  fs.defaultFS hdfs://s101:9000 

2.hdfs-site.xml

 dfs.replication 2 dfs.namenode.name.dir file:/data/hdfs/name dfs.datanode.data.dir file:/data/hdfs/data dfs.namenode.secondary.http-address s101:50090 dfs.namenode.http-address s101:50070  The address and the base port where the dfs namenode web ui will listen on. If the port is 0 then the server will start on a free port.   dfs.namenode.checkpoint.dir file:/data/hdfs/checkpoint dfs.namenode.checkpoint.edits.dir file:/data/hdfs/edits

3. mapred-site.xml

  mapreduce.framework.name yarn 

4.yarn-site.xml

  yarn.nodemanager.aux-services mapreduce_shuffle   yarn.resourcemanager.hostname s101 

到此成功一半。。。。。。。。。。。。。。

创建文件夹

mkdir /data/hdfs/tmpmkdir /data/hdfs/varmkdir /data/hdfs/logsmkdir /data/hdfs/dfsmkdir /data/hdfs/datamkdir /data/hdfs/namemkdir /data/hdfs/checkpointmkdir /data/hdfs/edits

记得将目录权限修改

• sudo chown ubantu:ubantu /data

接下来传输 /soft文件夹到其他主机

创建 xsync可执行文件

sudo touch xsync


sudo chmod 777 xsync 权限变成可执行文件


sudo nano xsync


#!/bin/bashpcount=$#if((pcount<1));then echo no args; exit;fip1=$1;fname=`basename $p1`pdir=`cd -P $(dirname $p1);pwd`cuser=`whoami`for((host=102 ; host<105 ;host=host+1));do echo --------s$host-------- rsync -rvl $pdir/$fname $cuser@s$host:$pdirdone

xsync /soft-------->就会传文件夹到其他主机


xsync /data


创建 xcall 向其他主机传命令

#!/bin/bashpcount=$#if((pcount<1));then echo no args; exit;fiecho --------localhost--------$@for ((host=102;host<105;host=host+1));do echo --------$shost-------- ssh s$host $@done

别着急 快结束了 哈

还得配置 workers问价

• 将需要配置成数据节点（DataNode）的主机名放入其中，一行一个

注意重点来了

先格式化 hadoop -namenode -format

再 启动 start-all.sh


查看进程 xcall jps

进入网页

是不是很想牛泪，成功了耶！！！

中间出现了很多问题

　　1， rsync 权限不够 ：删除文件夹 更改文件夹权限chown

　　2.学会看日志 log

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对的支持。