怎样实现PIG中COGROUP中的空值验证
发表于:2024-09-30 作者:千家信息网编辑
千家信息网最后更新 2024年09月30日,这篇文章将为大家详细讲解有关怎样实现PIG中COGROUP中的空值验证,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。环境: 0.10.0COGROUP
千家信息网最后更新 2024年09月30日怎样实现PIG中COGROUP中的空值验证
这篇文章将为大家详细讲解有关怎样实现PIG中COGROUP中的空值验证,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。
环境: 0.10.0
COGROUP : 2+个关系中做分组
最近做一个PIG类的项目,重新看了下PIG,顺便做总结。看到COGROUP时感觉有些问题
官方:http://pig.apache.org/docs/r0.8.1/piglatin_ref2.html
A = load 'student' as (name:chararray, age:int, gpa:float);B = load 'student' as (name:chararray, age:int, gpa:float);dump B;(joe,18,2.5)(sam,,3.0)(bob,,3.5)X = cogroup A by age, B by age;dump X;(18,{(joe,18,2.5)},{(joe,18,2.5)})(,{(sam,,3.0),(bob,,3.5)},{})(,{},{(sam,,3.0),(bob,,3.5)})
很难理解的是为什么age是空的会有2条数据?参考其他博客看下COGROUP的用法,发现不是这样。
编码无悔博客:http://www.codelast.com/?p=3621
后来自己造了一批数据来尝试没有空值和有空值的COGROUP.
CA: (jack,32,run) (liza,22,eat) (tom,20,mouse)CB: (jack,32,run) (jerry,10,steal) (tom,20,mouse)COGROUP: (tom,{(tom,20,mouse)},{(tom,20,mouse)}) (jack,{(jack,32,run)},{(jack,32,run)}) (liza,{(liza,22,eat)},{}) (jerry,{},{(jerry,10,steal)})
加一个有空值的字段。
CA: (jack,32,run) (liza,22,eat) (,20,mouse)CB: (jack,32,run) (jerry,10,steal) (,20,mouse) COGROUP: (jack,{(jack,32,run)},{(jack,32,run)}) (liza,{(liza,22,eat)},{}) (jerry,{},{(jerry,10,steal)}) (,{(,20,mouse)},{}) (,{},{(,20,mouse)})
分别加M和N个空值字段,数据量不会出现M*N个空值吧?不是2个就是个大坑,会放大数据量。
CA: (jack,32,run) (liza,22,eat) (,200,mouse) (,201,mouse) (,202,mouse) (,203,mouse) (,204,mouse) CB: (jack,32,run) (jerry,10,steal) (,301,mouse) (,302,mouse) (,303,mouse) (,304,mouse) (,305,mouse) (,306,mouse) (,307,mouse)COGROUP: (jack,{(jack,32,run)},{(jack,32,run)}) (liza,{(liza,22,eat)},{}) (jerry,{},{(jerry,10,steal)}) (,{(,200,mouse),(,201,mouse),(,202,mouse),(,203,mouse),(,204,mouse)},{}) (,{},{(,301,mouse),(,302,mouse),(,303,mouse),(,304,mouse),(,305,mouse),(,306,mouse),(,307,mouse)})
关于怎样实现PIG中COGROUP中的空值验证就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
数据
验证
内容
博客
字段
文章
更多
知识
篇文章
参考
不错
大坑
官方
就是
感觉
环境
编码
质量
问题
项目
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
网络安全作文250字左右
互联网领先的科技成果
创建数据库添加数据安卓
机架式服务器做什么用的
信维-英业达服务器研发中心
互联网与科技创新大赛
小学网络安全领导职责
软件开发评审需要什么
网上支付软件开发
cndr数据库
苹果手机与服务器协议失败
美晓互联网科技公司销售怎么样
美军 qnt 同花顺网络技术
河南顺弘网络技术有限公司
关于网络安全的手抄报竖版
数据库建模 pdf
网络安全与执法和信息安全
反恐怖主义法网络安全法征文
数据库抽取表中前10条数据
思科email服务器技术
万方数据库免费下载网址
阿里云服务器云安全
基于html的软件开发
关于网络安全教育的团日活动
数据库和表基本操作
控制器软件开发与java
XT服务器
莱阳微信公众号软件开发哪家好
网络安全需要学习哪些方面
南京有哪些互联网科技公司总部