怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序

本篇内容主要讲解"怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序"，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习"怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序"吧!

前提：

1.我使用的hadoop是hadoop-2.3.0-cdh6.1.0.tar

2.以下是我的hadoop核心配置文件的配置：

core-site.xml

                                                fs.defaultFS                                hdfs://master:9000                                                       io.file.buffer.size                                131072                                              hadoop.tmp.dir                                file:/home/yinkaipeng/tmp                                Abase for other temporary directories.                                       hadoop.proxyuser.hduser.hosts               *                                       hadoop.proxyuser.hduser.groups               *       

hdfs-site.xml

                       dfs.namenode.secondary.http-address               master:9001                                   dfs.namenode.name.dir                 file:/usr/local/data/dfs/name                                           dfs.datanode.data.dir                    file:/usr/local/data/dfs/data                                             dfs.replication                     3                                               dfs.webhdfs.enabled                     true         

mapred-site.xml

                                                mapreduce.framework.name                                yarn                                                                mapreduce.jobhistory.address                                master:10020                                               mapreduce.jobhistory.webapp.address               master:19888       

yarn-site.xml

                                yarn.nodemanager.aux-services               mapreduce_shuffle                                        yarn.nodemanager.aux-services.mapreduce.shuffle.class               org.apache.hadoop.mapred.ShuffleHandler                               yarn.resourcemanager.address               master:8032                                      yarn.resourcemanager.scheduler.address               master:8030                                                     yarn.resourcemanager.resource-tracker.address                        master:8031                                                     yarn.resourcemanager.admin.address                        master:8033                                              yarn.resourcemanager.webapp.address               master:8088       

在hadoop2.0 中如果不配置zookeeper，只需将你将你的datanode加入slaves文件中即可。

hadoop集群配置好后，然后就是使用eclipse进行连接啦！

好的，我使用的是：hadoop-eclipse-plugin-2.2.0，从网上下载的。

下面开始我们开始工作。

1. 启动hadoop集群

2. 将hadoop-eclipse-plugin-2.2.0拷贝到eclipse的plugins 目录下，启动eclipse。

4. 

如现在就进行连接的话不会成功的。因为我们用的是Windows所以还需要进行以下步骤：

1. 将电脑当前用户名改为hadoop的启动用户名

2. eclipse连接hadoop源码目录，将hadoop-common-2.2.0-bin-master的bin目录考到eclipse的workspace

   
   

   
   

5. 

6. 注：上面hadoop目录为我从Linux系统上下载的解压后的hadoop。

   到这里操作hdfs就没问题了，如果要运行mapreduce还会报错，进行以下两步：

   1.将hadoop源码中的org.apache.hadoop.io.nativeio加到项目中，并进行以下修改：

   
   

   
   

2.在我们的mapreduce的main函数中注入hadoop本地目录地址环境变量。

ok！这下就可以在Windows上进行hadoop集群的mapreduce在线调试了！

到此，相信大家对"怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序"有了更深的了解，不妨来实际操作一番吧！这里是网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！