eclipse上搭建hadoop开发环境
发表于:2024-09-26 作者:千家信息网编辑
千家信息网最后更新 2024年09月26日,一、概述1.实验使用的Hadoop集群为伪分布式模式,eclipse相关配置已完成;2.软件版本为hadoop-2.7.3.tar.gz、apache-maven-3.5.0.rar。二、使用ecli
千家信息网最后更新 2024年09月26日eclipse上搭建hadoop开发环境
一、概述
1.实验使用的Hadoop集群为伪分布式模式,eclipse相关配置已完成;
2.软件版本为hadoop-2.7.3.tar.gz、apache-maven-3.5.0.rar。
二、使用eclipse连接hadoop集群进行开发
1.在开发主机上配置hadoop
①将hadoop-2.7.3.tar.gz解压到本地主机上
②使用windows版本的hadoop中的bin替换目标中的bin文件夹
③配置windows上的hadoop环境变量
2.在eclipse上配置hadoop集群信息
①在eclipse中添加hadoop路径
②配置hadoop集群访问信息
3.在hadoop集群中取消权限验证
hdfs-site.xmldfs.permissions false
4.创建一个文件测试连接权限
5.安装maven
①将maven解压到开发主机上
②在eclipse上添加maven路径
5.新建maven工程
6.修改maven配置文件(maven/pom.xml)
org.apache.hadoop hadoop-client 2.7.3 junit junit 3.8.1 test
7.新建一个类用于测试(WordCount)
import java.io.IOException;import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.util.GenericOptionsParser; public class WordCount { public static class TokenizerMapper extends Mapper
8.配置WordCount
①将log4j.properties移动到WordCount类下
②设置WordCount的运行自变量
8.运行测试
三、jar包的导出与提交执行
1.导出WordCount
2.将导出的jar包上传到hadoop集群
[hadoop@hadoop ~]$ lswc.jar
3.运行
[hadoop@hadoop ~]$ hadoop jar wc.jar WordCount /user/hadoop/input/* /user/hadoop/output/out17/09/06 22:36:56 INFO client.RMProxy: Connecting to ResourceManager at hadoop/192.168.100.141:803217/09/06 22:36:57 INFO input.FileInputFormat: Total input paths to process : 117/09/06 22:36:58 INFO mapreduce.JobSubmitter: number of splits:117/09/06 22:36:58 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1504744740212_000117/09/06 22:36:59 INFO impl.YarnClientImpl: Submitted application application_1504744740212_000117/09/06 22:36:59 INFO mapreduce.Job: The url to track the job: http://hadoop:8088/proxy/application_1504744740212_0001/17/09/06 22:36:59 INFO mapreduce.Job: Running job: job_1504744740212_000117/09/06 22:37:36 INFO mapreduce.Job: Job job_1504744740212_0001 running in uber mode : false17/09/06 22:37:36 INFO mapreduce.Job: map 0% reduce 0/09/06 22:38:26 INFO mapreduce.Job: map 100% reduce 0/09/06 22:38:42 INFO mapreduce.Job: map 100% reduce 100/09/06 22:38:46 INFO mapreduce.Job: Job job_1504744740212_0001 completed successfully
4.查看运行结果
[hadoop@hadoop ~]$ hdfs dfs -cat /user/hadoop/output/out/part-r-00000"AS 1"GCC 1"License"); 1& 1'Aalto 1'Apache 4'ArrayDeque', 1'Bouncy 1'Caliper', 1'Compress-LZF', 1……
配置
集群
运行
开发
文件
测试
主机
信息
权限
版本
路径
环境
分布式
变量
工程
文件夹
模式
目标
结果
自变量
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
数字化法制文化培训基地软件开发
工商计算机网络技术
大学生申请网络安全工程师
oa软件开发 深信和丰软件
数据库管理系统的选择
计算机网络技术专业学什么
java 怎么连接数据库
服务器后台管理员账户
苏州戴尔服务器管理中心
互联网黑科技怎么样
mysql数据库被挂马
信息网络安全化
软件开发方法主要包括
湖南省软件开发工程师培训哪里好
网络安全项点
截取表格中部分数据库
浪潮的网络技术架构
服务器成本增加
中国前沿技术数据库报告
车型数据库 下载
东吴掌财服务器异常
生成DBIS系统支持的数据库
广州华商职业学院网络技术
万方数据库怎么找回
mongodb 模拟接口服务器
河北管理软件开发
网络安全防护功能包括内容
cas 数据库验证
服务器拒绝了连接
服务器处理器怎么看几核