Hadoop0.20.0如何部署与测试

这篇文章主要为大家展示了"Hadoop0.20.0如何部署与测试"，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下"Hadoop0.20.0如何部署与测试"这篇文章吧。

Hadoop0.20.0部署与测试

--最近对Hadoop的部署小有收获，本文总结部署的主要过程以及遇到的问题，其中很多地方也是借鉴网络上其他高手的经验(资料大部分是0.19乃至更早的，0.20在配置上已有部分调整)。
Hadoop官方(强烈建议仔细阅读官方原文文档)
整个部署过程主要分为以下几部分(以***0.20.0版本为例)：
系统环境为ubuntu.04、JDK1.6

1.下载

从Apache的任意镜像站点上下载Hadoop***版本
压缩包中的docs下有使用手册，docs/cn下是中文手册(0.19)

2.启动hadoop集群前的准备工作

2.1安装JDK如果机器为多核建议安装JDK1.6，可以提高程序运行效率。

在/home/[$hadoop_home]/conf目录下的hadoop_env.sh中设置Hadoop需要的环境变量，其中JAVA_HOME是必须设定的变量。
exportJAVA_HOME=/usr/lib/jvm/java-6-sun
exportJAVA_HOME=/usr/lib/jvm/java-6-sun

2.2配置SSH(for配置集群)

安装SSH
以UbuntuLinux为例：
$sudoapt-getinstallssh
$sudoapt-getinstallssh

生成密钥对
$ssh-keygen-trsa-P''
$ssh-keygen-trsa-P''

询问其保存路径时直接回车采用默认路径
生成的密钥对id_rsa，id_rsa.pub，默认存储在/home/[$user]/.ssh目录下。
然后将id_rsa.pub的内容复制到每个机器(也包括本机)的/home/[$user]/.ssh/authorized_keys文件中。
如果机器上已经有authorized_keys这个文件了，就在文件末尾加上id_rsa.pub中的内容。
如果没有authorized_keys这个文件，直接cp或者scp就好了。

没有authorized_keys时
$cpid_rsa.pubauthorized_keys
$cpid_rsa.pubauthorized_keys

或使用追加命令
$catid_rsa.pub>>authorized_keys
$catid_rsa.pub>>authorized_keys

Hadoop0.20.0部署中下面这步必须操作否则SSH无法正常运行，修改authorized_keys文件权限为当前用户可读写，其他用户只读。
$chmod600authorized_keys
$chmod600authorized_keys
为了进一步加强安全，可以修改本机文件/etc/ssh/sshd_config，这样设定之后SSH就只能通过密钥认证登录。

#去除密码认证
PasswordAuthenticationno
AuthorizedKeyFile.ssh/authorized_keys
#去除密码认证
PasswordAuthenticationno
AuthorizedKeyFile.ssh/authorized_keys。

以上是"Hadoop0.20.0如何部署与测试"这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注行业资讯频道！