getConf与new Configuration怎么配置
发表于:2024-10-17 作者:千家信息网编辑
千家信息网最后更新 2024年10月17日,本篇内容主要讲解"getConf与new Configuration怎么配置",感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习"getConf与new Conf
千家信息网最后更新 2024年10月17日getConf与new Configuration怎么配置
本篇内容主要讲解"getConf与new Configuration怎么配置",感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习"getConf与new Configuration怎么配置"吧!
#getConf
所有的配置都通过命令的形式,此种情况下支持-files
sudo -uwirelessdev hadoop jar \/home/q/script/mods/mrjob/mods-1.0-SNAPSHOT-jar-with-dependencies.jar \-files /home/q/script/mods/mrjob/mods.acid \-D mapreduce.job.queuename=wirelessdev \-D mapreduce.job.priority=VERY_HIGH \-D mapreduce.map.memory.mb=8192 \-D mapreduce.map.java.opts='-Xmx8192M' \-D mapreduce.reduce.memory.mb=8192 \-D mapreduce.reduce.java.opts='-Xmx8192M' \-D mapreduce.job.reduces=100 \-D mapred.reduce.tasks=100 \-D mapreduce.job.name=mods_firstjob_leofei.li \/user/wirelessdev/marmot_warehouse/ods/ods_modss_frame/dt=2016-07-13/platform=Ios-pad/* \/user/wirelessdev/leofei.li/firstjob
#new Configuration 配置项通过代码进行配置,此时,通过命令行的配置项会失效
Configuration conf =new Configuration();conf.set("fs.defaultFS","hdfs://qunarcluster");conf.set("mapreduce.job.queuename","wirelessdev");conf.set("mapreduce.job.reduces","100");conf.set("mapreduce.job.priority","VERY_HIGH");conf.set("mapreduce.map.memory.mb","8192");conf.set("mapreduce.map.java.opts","-Xmx8192M");conf.set("mapreduce.reduce.memory.mb","8192");conf.set("mapreduce.reduce.java.opts","-Xmx8192M");
该情况下不支持-files,需要使用DistributedCache,默认hdfs路径
DistributedCache.addCacheFile(new Path("/user/wirelessdev/leofei.li/conf/mods.acid").toUri(), conf);
#推荐
Configuration conf = getConf(); conf.set("mapreduce.job.queuename","wirelessdev");Job job = Job.getInstance(conf,"mods_firstjob_leofei.li");
到此,相信大家对"getConf与new Configuration怎么配置"有了更深的了解,不妨来实际操作一番吧!这里是网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!
配置
内容
命令
情况
学习
支持
实用
更深
代码
兴趣
实用性
实际
形式
操作简单
方法
更多
朋友
网站
路径
频道
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
舟山嵌入式软件开发总结
湖北app软件开发平台有哪些
虚拟服务器不属于paas产品
怎么卖服务器
算力网络技术内涵
数据库第六章题目
路径优化论文没数据库
我国互联网科技的未来发展
sql无法输入数据库
信息安全实训平台服务器
杭州通宽广网络技术
中兴通讯是网络安全股
网络安全报告引言
加强网络安全和信息化工作会议
互联网软件开发储备岗
网络安全真假鉴别
吉林便民平台软件开发系统
先锋电影网络安全
网络安全学什么技术好
一号互联网科技
电力网络安全十七条措施
软件开发人员的薪金程序
afc系统网络安全问题
网络安全管理实行分级负责制
代理服务器怎么匹配多个地址
昌邑管理软件开发
怎么检查数据库防火墙关闭
java数据库取数据
数据库锁住
acsse数据库密码破解