导航：首页 > 互联网科技 >

hadoop的安装与配置

发表于：2025-02-01 作者：千家信息网编辑

千家信息网最后更新 2025年02月01日，Hadoop版本Hadoop 有两个主要版本，Hadoop 1.x.y 和 Hadoop 2.x.y 系列.1.x.y大数公司已经更新Hadoop 2.x 版本，本教程均可适用.基本环境:Centos

千家信息网最后更新 2025年02月01日hadoop的安装与配置

Hadoop版本

Hadoop 有两个主要版本，Hadoop 1.x.y 和 Hadoop 2.x.y 系列.1.x.y大数公司已经更新Hadoop 2.x 版本，本教程均可适用.

基本环境:Centos 6.5 jdk1.7.0_67 hadoop2.5.1

一、配置jdk

1)下载jdk 版本

本教程试用jdk-7u67-linux-x64.war.gz

2)创建解压目录

mkdir /usr/local/java

3)移动jdk到/usr/local/java

mv jdk-7u67-linux-x64.war.gz /usr/local/java

4)解压jdk

tar -xvf jdk-7u67-letcinux-x64.war.gz

5)配置环境

5.1)编辑 ~/.bash_profile文件 (可以在/etc/profile配置,但是不建议)

1.vi ~/.bash_profile

2.JAVA_HOME =/usr/local/java/jdk1.7.0_67

3.CLASSPATH=. :$JAVA_HOME/lib/*.jar

4.PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

5.退出编辑,并 source ~/.bash_profile

6.验证 java -version

二、安装配置hadoop

1)下载hadoop 版本

本教程使用hadoop2.5.1.war.gz

2)创建解压目录

mkdir /usr/local/hadoop

3)移动hadoop到/usr/local/hadoop

mv hadoop2.5.1.war.gz /usr/local/hadoop

4)解压hadoop

tar -xvf hadoop2.5.1.war.gz

5)配置环境

5.1)编辑~/.bash_profile文件

1.vi ~/.bash_profile

2.HADOOP_HOME=/usr/local/hadoop2.6.4

4.PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/jre/bin

5.退出编辑,并 source ~/.bash_profile

5.2)配置etc/hadoop/hadoop-env.sh,etc/hadoop/core-site.xml,hdfs-site.xml ,etc/hadoop/salves

http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html

1.配置hadoop-env.sh

export JAVA_HOME=/*your jdk的目录*/

2.配置core-site.xml (可以参考官方文档)

   
    
        fs.defaultFS
        hdfs://localhost:9000  /** your的主机名**/
    
  
  
  3.配置hdfs-site.xml
  


    
        dfs.replication
        1
    


  4.配置salves

  your的机主名
  
   
 6)关闭临时防火墙
   
   1)service iptables stop
   2)chkconfig iptables off
   
   7)格式化
    hadoop namenode -format

   
   8)验证
   
     start-hdfs.sh