Hadoop如何实现HelloWorld
发表于:2024-10-04 作者:千家信息网编辑
千家信息网最后更新 2024年10月04日,这篇文章给大家分享的是有关Hadoop如何实现HelloWorld的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。目的:将输入文件的中的Hello,World输出到文件为Wo
千家信息网最后更新 2024年10月04日Hadoop如何实现HelloWorld
这篇文章给大家分享的是有关Hadoop如何实现HelloWorld的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。
目的:将输入文件的中的Hello,World输出到文件为World Hello.
输入文件内容:
代码实例:
import java.io.IOException;import java.text.SimpleDateFormat;import java.util.Date;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;/** * HelloWorld Job * 将输入文件中的Hello,World, 以World Hello输出到文件 */public class HelloWorld { /** * 映射器 * 用于将我们的数据进行预处理 */ private static class MyMapper extends Mapper{ @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { System.out.println("mapper running..."); System.out.println("key=" + key.get()); System.out.println("value=" + value.toString()); String[] strValue = value.toString().split(","); context.write(new Text(strValue[1]), new Text(strValue[0])); } } /** * 处理器 * 用于将mapper预处理的数据记录进行业务计算,然后输出 */ private static class MyReducer extends Reducer { @Override protected void reduce(Text key, Iterable values, Context context) throws IOException, InterruptedException { System.out.println("reducer running..."); System.out.println("key=" + key.toString()); String val = values.iterator().next().toString(); System.out.println("value=" + val); context.write(key, new Text(val)); } } public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { Configuration configuration = new Configuration(); Job job = new Job(configuration, "helloworld_job"); job.setJarByClass(HelloWorld.class); job.setMapperClass(MyMapper.class); job.setReducerClass(MyReducer.class); job.setInputFormatClass(TextInputFormat.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); FileInputFormat.addInputPath(job, new Path("hdfs://hadoopmaster:9000/in/helloworld.txt")); String outFileExt = "_" + new SimpleDateFormat("yyyyMMddHHmmss").format(new Date()); FileOutputFormat.setOutputPath(job, new Path("hdfs://hadoopmaster:9000/out/helloworld"+outFileExt)); System.out.println(job.waitForCompletion(true)); }}
将代码打包, 拷贝到hadoopmaster上:
执行jar包:
hadoop jar helloworld.jar
得到输出文件:
感谢各位的阅读!关于"Hadoop如何实现HelloWorld"这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!
文件
输出
内容
输入
代码
数据
更多
篇文章
预处理
不错
实用
业务
处理器
实例
射器
拷贝
文章
目的
看吧
知识
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
simen服务器
服务器怎么映射外网
在服务器导出sql表
如何将台式电脑变成文件服务器
数据库加减乘除连接
英国服务器节点加速
计算机网络技术论文800字
软件开发项目奖金评定
服务器断开连接怎么办
网络安全拓展
php获取服务器ipv6地址
合肥众人互联网科技公司
服务器维护公告补偿
中国银河证券软件开发
大专什么叫软件开发
鄞州安卓软件开发设计
苹果换新设备怎么转移数据库
宪法和网络安全作文
nb-iot无线网络技术
浦东新区个人软件开发学习
重启linux服务器按键
蓝莲花网络安全组
es同步数据库失败怎么办
联通软件开发坑
成都伊电园网络技术有限公司
江苏手机软件开发工程师
互联网金融科技委员会官网
崂山区微信小程序软件开发
九离网络技术有限公司
未来科技互联网行业