一.hadoop伪分布式部署
发表于:2024-09-21 作者:千家信息网编辑
千家信息网最后更新 2024年09月21日,========一.hadoop伪分布式=========伪分布式环境配置需要安装openjdk 和openjdk-devel软件包(用的是1.8.0版本)rpm -ql Java-openjdk-d
千家信息网最后更新 2024年09月21日一.hadoop伪分布式部署
========一.hadoop伪分布式=========伪分布式环境配置需要安装openjdk 和openjdk-devel软件包(用的是1.8.0版本)rpm -ql Java-openjdk-devel-1.8.0 | grep '/bin/javac'vim /etc/profile#Javaexport JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/bin#hiveexport HIVE_HOME=/data/hadoop/hiveexport PATH=$HIVE_HOME/bin:$PATH#hadoopexport HADOOP_HOME=/data/hadoop/hadoop-2.7.4export PATH=$HADOOP_HOME/bin:$PATHsource /etc/profile java -version添加hadoop 用户 useradd -m hadoop -s /bin/bash给予sudo权限 visudo 编辑配置文件的98行,在root这行下添加hadoop用户root ALL=(ALL) ALLhadoop ALL=(ALL) ALL切换到hadoop 用户然后设置远程登录生成密钥对 ssh-keygen -t rsa cat id_rsa.pub >> authorized_keys chmod 600 ./authorized_keys(注意权限设置)
=========二.安装hadoop=========wget http://114.242.101.2:808/hadoop/hadoop-2.7.4.tar.gztar xf hadoop-2.7.4.tar.gz -C /data/hadoopchown -R hadoop.hadoop /data/hadoop/hadoop-2.7.4
==========三.配置文件=============/data/hadoop/hadoop-2.7.4/etc/hadoop/ 路径下hdfs-site.xmlcore-site.xmlmapred-site.xml.templatehdfs-site.xml:这里面定义的是数据节点个数以块文件大小core-site.xml:定义的hadoop的header机mapred-site.xml.template:定义的是hadoop文件存放的调度方式针对伪分布式三个配置文件如下(默认为空)core-site.xml配置文件如下:
hadoop.tmp.dir file:/data/hadoop/hadoop-2.7.4/tmp Abase for other temporary directories. hdfs-site.xml配置文件如下: fs.defaultFS hdfs://localhost:9000 dfs.replication 1 dfs.namenode.name.dir file:/data/hadoop/hadoop-2.7.4/tmp/dfs/name mapred-site.xml.template配置文件如下: dfs.datanode.data.dir file:/data/hadoop/hadoop-2.7.4/tmp/dfs/data cd /data/hadoop/hadoop-2.7.4/执行./bin/hdfs namenode -format 进行格式化./sbin/start-dfs.sh 启动完成后,可以通过命令 jps 来判断是否成功启动若成功启动则会列出如下进程: "NameNode"、"DataNode"和SecondaryNameNodevim ~/.bashrc 添加export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64source ~/.bashrc 后重新启动搭建完成访问:http://192.168.0.12:50070 mapreduce.framework.name yarn
文件
配置
分布式
用户
成功
权限
三个
个数
可以通过
命令
大小
密钥
数据
方式
格式
版本
环境
节点
路径
软件
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
东莞聊天软件开发常见问题
美国网络安全生态系统
阿勒泰网络技术选择
互联网科技研究学院
关于互联网科技的动漫
铁路员工网络安全
数据库删除sc表里的信息
软件开发扶持申请书
忻州软件开发价格走势
手机网络安全怎么解决
四川省南充软件开发公司
嵌入式软件开发工具的发展趋势是
互联网科技开业主持稿
最大的ai服务器
lol通用服务器
大脑数据库建设
淘宝单机游戏玩几天连不上服务器
sql数据库安全措施
天龙内测服务器
软件开发人员绩效考核
无手机云控软件开发商
黄浦区新型网络技术模板
共建网络安全主题文字
网络安全产品碎片化坏处
用友决策管理设置服务器名称
股票成交量分析软件开发
天龙八部自架服务器流程
查网络安全员证书有用吗
光网络技术演进围绕什么展开
天龙内测服务器