getConf与new Configuration怎么配置
发表于:2024-09-21 作者:千家信息网编辑
千家信息网最后更新 2024年09月21日,本篇内容主要讲解"getConf与new Configuration怎么配置",感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习"getConf与new Conf
千家信息网最后更新 2024年09月21日getConf与new Configuration怎么配置
本篇内容主要讲解"getConf与new Configuration怎么配置",感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习"getConf与new Configuration怎么配置"吧!
#getConf
所有的配置都通过命令的形式,此种情况下支持-files
sudo -uwirelessdev hadoop jar \/home/q/script/mods/mrjob/mods-1.0-SNAPSHOT-jar-with-dependencies.jar \-files /home/q/script/mods/mrjob/mods.acid \-D mapreduce.job.queuename=wirelessdev \-D mapreduce.job.priority=VERY_HIGH \-D mapreduce.map.memory.mb=8192 \-D mapreduce.map.java.opts='-Xmx8192M' \-D mapreduce.reduce.memory.mb=8192 \-D mapreduce.reduce.java.opts='-Xmx8192M' \-D mapreduce.job.reduces=100 \-D mapred.reduce.tasks=100 \-D mapreduce.job.name=mods_firstjob_leofei.li \/user/wirelessdev/marmot_warehouse/ods/ods_modss_frame/dt=2016-07-13/platform=Ios-pad/* \/user/wirelessdev/leofei.li/firstjob
#new Configuration 配置项通过代码进行配置,此时,通过命令行的配置项会失效
Configuration conf =new Configuration();conf.set("fs.defaultFS","hdfs://qunarcluster");conf.set("mapreduce.job.queuename","wirelessdev");conf.set("mapreduce.job.reduces","100");conf.set("mapreduce.job.priority","VERY_HIGH");conf.set("mapreduce.map.memory.mb","8192");conf.set("mapreduce.map.java.opts","-Xmx8192M");conf.set("mapreduce.reduce.memory.mb","8192");conf.set("mapreduce.reduce.java.opts","-Xmx8192M");
该情况下不支持-files,需要使用DistributedCache,默认hdfs路径
DistributedCache.addCacheFile(new Path("/user/wirelessdev/leofei.li/conf/mods.acid").toUri(), conf);
#推荐
Configuration conf = getConf(); conf.set("mapreduce.job.queuename","wirelessdev");Job job = Job.getInstance(conf,"mods_firstjob_leofei.li");
到此,相信大家对"getConf与new Configuration怎么配置"有了更深的了解,不妨来实际操作一番吧!这里是网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!
配置
内容
命令
情况
学习
支持
实用
更深
代码
兴趣
实用性
实际
形式
操作简单
方法
更多
朋友
网站
路径
频道
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
宝山区咨询软件开发销售
自考实用数据库技术同步练习题
微软服务器海水冷却
此数据库缺少完整数据库备份
php图片保存到数据库
网络安全个人学习心得
华为网络安全袁源
怀化java程序软件开发培训
中国天津网络安全周
网络安全快车进入基层活动
导出数据库建表
extjs 树 数据库
吉林pdu服务器电源制造商
导航软件开发用
平台app软件开发
s560服务器上架
店铺网络安全问题
王者关于公孙离的服务器
安徽数据网络技术咨询报价
小爱同学本地控制服务器w
oracle修改数据库密码
网络安全好调剂吗
点眼互联网科技服务有限公司
长城汽车软件开发笔试题
戴尔中心管理服务器r740
渭南软件开发简介
ftp服务器修改内容
校园网络安全内容4大特点
剑灵大区服务器查询
nosql数据库四大分类