千家信息网

调试hadoop示例时会遇到什么问题

发表于:2024-10-09 作者:千家信息网编辑
千家信息网最后更新 2024年10月09日,这篇文章主要介绍调试hadoop示例时会遇到什么问题,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!在eclipse中安装过hadoop的插件过后,连不上dfs将etc/hado
千家信息网最后更新 2024年10月09日调试hadoop示例时会遇到什么问题

这篇文章主要介绍调试hadoop示例时会遇到什么问题,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

  1. 在eclipse中安装过hadoop的插件过后,连不上dfs

    将etc/hadoop/core-site.xml中配置的localhost修改为ip地址

  2. 连上dfs之后,不能上传文件,不能删除文件

    [root@localhost hadoop-2.6.3]# vi etc/hadoop/mapred-site.xml.template [root@localhost hadoop-2.6.3]# cp  etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

    添加如下的配置

       dfs.permissions  false 
  3. 在windows 7 下远程运行的时候,需要与版本对应的winutils.exe

    hadoop2.6 对应的下载地址: http://down.51cto.com/data/1983230

    在代码中添加如下的变量设置

     System.setProperty("hadoop.home.dir", "D:\\open_source\\zip\\hadoop\\hadoop-2.6.3"); System.setProperty("HADOOP_HOME", "D:\\open_source\\zip\\hadoop\\hadoop-2.6.3");

或者是在eclisep -> run -> Run Configurations -> Environment 选项卡添加PATH,HADDOOP_HOME

HADOOP_HOME D:\open_source\zip\hadoop\hadoop-2.6.3

PATH %PATH%;D:\open_source\zip\hadoop\hadoop-2.6.3\bin

以上是"调试hadoop示例时会遇到什么问题"这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注行业资讯频道!

0