How to install Hadoop 2.7.3 cluster on CentOS 7.3
发表于:2025-01-23 作者:千家信息网编辑
千家信息网最后更新 2025年01月23日,##############################ENV#spark01 192.168.51.6#spark02 192.168.51.18#spark03 192.168.51.19#s
千家信息网最后更新 2025年01月23日How to install Hadoop 2.7.3 cluster on CentOS 7.3
##############################ENV#spark01 192.168.51.6#spark02 192.168.51.18#spark03 192.168.51.19#spark04 192.168.51.21#spark05 192.168.51.24##############################We must to improve file limits on every nodesecho "ulimit -SHn 204800" >> /etc/rc.localecho "ulimit -SHu 204800" >> /etc/rc.localcat >> /etc/security/limits.conf << EOF* soft nofile 204800* hard nofile 204800* soft nproc 204800* hard nproc 204800EOF##We must to disable ipv6 on every nodesecho 'net.ipv6.conf.all.disable_ipv6 = 1'>>/etc/sysctl.confecho 'net.ipv6.conf.default.disable_ipv6 = 1' >>/etc/sysctl.confecho 'vm.swappiness = 0' >> /etc/sysctl.confsysctl -pecho 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.localchmod +x /etc/rc.d/rc.local#1)Edit /etc/hosts file on every nodescat >/etc/hosts<>/etc/sudoers#4)set permission with opt directory on every nodeschown -R hadoop.hadoop /opt/#5)Set up key-based (passwordless) login:#just do it no spark01su - hadoopssh-keygenssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@spark01ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@spark02ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@spark03ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@spark04ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@spark05#6)install hadoop on spark01 and propagate /opt/hadoop2.7.3 to other nodes:cd /home/toolssudo wget http://god.nongdingbang.net/downloads/hadoop-2.7.3.tar.gzsudo tar zxvf hadoop-2.7.3.tar.gz -C /opt/sudo chown -R hadoop.hadoop /opt/hadoop-2.7.3scp -r /opt/hadoop-2.7.3 hadoop@spark02:/optscp -r /opt/hadoop-2.7.3 hadoop@spark03:/optscp -r /opt/hadoop-2.7.3 hadoop@spark04:/optscp -r /opt/hadoop-2.7.3 hadoop@spark05:/opt#7)Edit this file on every nodessudo su -cat >/etc/profile.d/hadoop.sh < /opt/hadoop-2.7.3/etc/hadoop/core-site.xml< fs.defaultFS hdfs://spark01:9000 io.file.buffer.size 131072 hadoop.tmp.dir /opt/hadoop-2.7.3/tmp/ hadoop.proxyuser.hadoop.hosts * EOF#9)Create HDFS DataNode data dirs on every node and change ownershipmkdir -p /opt/storage/{datanode,namenode}chown -R hadoop.hadoop /opt/storage#10)Edit /opt/hadoop/etc/hadoop/hdfs-site.xml on every nodes- set up DataNodes:###############################################cat >/opt/hadoop-2.7.3/etc/hadoop/hdfs-site.xml< hadoop.proxyuser.hadoop.groups * dfs.replication 3 dfs.permissions false dfs.datanode.data.dir /opt/storage/datanode dfs.namenode.data.dir /opt/storage/namenode dfs.secondary.http.address spark01:50090 dfs.namenode.http-address spark01:50070 EOF#11)Edit /opt/hadoop/etc/hadoop/mapred-site.xml on spark01.#################################################################cat > /opt/hadoop-2.7.3/etc/hadoop/mapred-site.xml < dfs.webhdfs.enabled true mapreduce.framework.name yarn mapreduce.jobhistory.address spark01:10020 EOF#12)setup ResourceManager on spark01 and NodeManagers on spark02-05#########################################################################cat >/opt/hadoop-2.7.3/etc/hadoop/yarn-site.xml< mapreduce.jobhistory.webapp.address spark01:19888 yarn.resourcemanager.hostname spark01 yarn.nodemanager.hostname.nm1 spark02 yarn.nodemanager.hostname.nm2 spark03 yarn.nodemanager.hostname.nm3 spark04 yarn.nodemanager.hostname.nm4 spark05 EOF#13)Edit /opt/hadoop-2.7.3/etc/hadoop/slaves on spark01##(so that master may start all necessary services on slaves automagically):###############################################################cat >/opt/hadoop-2.7.3/etc/hadoop/slaves< yarn.nodemanager.aux-services mapreduce_shuffle /etc/yum.repos.d/apache-maven.repo <
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
数据库怎么更改表值是否为空
huzhu软件开发
性能可靠语音会议软件开发
汇编软件开发
MT怎么连接服务器
如何用他妈c语言连接数据库
abap delete数据库表
寺庙网络安全宣传
心目中的网络安全寄语
上海综合软件开发商家
网络安全企业的信息安全
红十字会网络安全应急预案
国际奥林匹克网络安全竞赛
工作安全处理网络安全
安陆市软件开发文档
网络安全在哪个层
串口服务器无线
创艺网络技术运营
麻将游戏软件开发方法
安徽net软件开发有用吗
无锡软件开发的费用
ibm服务器接口
市教育局网络安全周活动方案
电动汽车软件开发公司
道路网络安全知识讲座
Pubg 电脑版不能选择服务器
联想服务器启动盘
新疆学校网络安全责任书
普陀区自动化软件开发质量保障
密云区信息化网络技术服务平台