centos8中怎么构建一个hadoop集群
centos8中怎么构建一个hadoop集群，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。
修改hosts vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.107 dsj2020master 192.168.1.108 dsj2020slave1 192.168.1.109 dsj2020slave2
更改 hostname. vim /etc/sysconfig/network
NETWORKING=yes HOSTNAME=master
配置静态IP. vim /etc/sysconfig/network-scripts/ifcfg-ethx
BOOTPROTO=static ONBOOT=yes IPADDR=192.168.1.101 NETMASK=255.255.255.0 GATEWAY=192.168.1.1
重启网络
nmcli c reload
java
wget https://repo.huaweicloud.com/java/jdk/8u201-b09/jdk-8u201-linux-x64.rpm
rpm -ivh jdk-8u201-linux-x64.rpm
hadoop
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
tar -zxvf hadoop-2.9.2.tar.gz
mv hadoop-2.9.2.tar.gz hadoop
为hadoop添加环境变量
##########
export HADOOP_HOME=/home/user1/software/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
cd /soft/hadoop/etc/hadoop/ -- 编辑core-site.xml
-- 编辑 slaves 文件 dsj2020master dsj2020slave1 dsj2020slave2 -- 复制 mapred-site.xml.template cp mapred-site.xml.template mapred-site.xml -- 编辑mapred-site.xml
将JAVA_HOME 环境变量加入hadoop-env.sh
JAVA_HOME=/soft/bin
复制过去
scp -r hadoop user2@slave1:~/software/
免密登陆
ssh-keygen -t rsa ssh-copy-id user@master ssh-copy-id user@slave1 ssh-copy-id user@slave2
JAVA_HOME=/root/jdk JRE_HOME=/root/jdk/jre CLASSPATH=.:$JAVA_HOME/lib:/dt.jar:$JAVA_HOME/lib/tools.jar PATH=$PATH:$JAVA_HOME/bin
server.1=dsj2020master:2888:3888 server.2=dsj2020slave1:2888:3888 server.3=dsj2020slave2:2888:3888
关于centos8中怎么构建一个hadoop集群问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注行业资讯频道了解更多相关知识。
