hive中任意相邻时间段数据获取
发表于:2024-11-28 作者:千家信息网编辑
千家信息网最后更新 2024年11月28日,通过sql语句获取相邻时段数据不比通过其它编程语言,因为sql里面没有for循环,故在实现时需要增加一份副表数据,这里对该方法做一个记录。背景:获取2017年全年平台用户进出贵州省的次数(分为进港次数
千家信息网最后更新 2024年11月28日hive中任意相邻时间段数据获取
通过sql语句获取相邻时段数据不比通过其它编程语言,因为sql里面没有for循环,故在实现时需要增加一份副表数据,这里对该方法做一个记录。
背景:获取2017年全年平台用户进出贵州省的次数(分为进港次数和出港次数)。
处理方式:
1.根据定位数据获取当年在贵州出现过的用户
2.获取这些用户的全部定位数据,并根据定位时间进行排序
如上,从左到右以此分别为用户id,定位时间,定位省份id,排序编号,是否定位在贵州
3.这里考虑根据if_loc这个字段来判断用户是入港还是出港,但是仅仅依靠这张a表还无法完全实现,因此考虑增加一张b表,b表的数据来自于a表,但两张表对rn值对应的数据会有一些差别
其中 b.rn_b = a.rn - 1
4.两张表进行关联,获取进港、出港标签port_flag
select a.bid,a.uploadtime,a.province_id,b.if_loc_b - a.if_loc port_flagfrom ainner join b on (a.bid = b.bid and a.rn = b.rn_b)
当port_flag = 1 时为入港,port_flag = -1 时为出港,port_flag = 0时为港内持续定位。
入港和出港涉及到两个时段的定位数据,通过这种方式,自然也可以获取到两个时段内的其它数据。
数据
定位
用户
出港
时段
次数
贵州
时间
两个
方式
加一
排序
全年
如上
字段
差别
平台
方法
标签
省份
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
HCIE可以考软件开发吗
数据库 半同步
利用ad软件开发的步骤
思洋互联网科技有限公司地址
中智软件开发有限公司发展
怎么隐藏网站服务器ip啊
8d游戏软件开发
电子招投标办法要求平台服务器
重橙网络安全性怎么样
sql数据库形成性考核
山东科技工业互联网
sdn软件开发招聘
网络安全整治饭圈乱象漫画图片
网络安全培养计划
常见的软件开发流程有哪些
网络安全科技素材
二进制第一段数据库
win网络安全策略
电子政务与网络安全案例
r440服务器硬盘指示灯含义
国三数据库技术考什么
莞迪尚互联网科技有限公司
ibmwpl服务器乱码
it软件开发学徒招聘
如何学好软件开发编程
张先知服务器
软件开发对电脑要求
英雄联盟哪个服务器上分容易
网络安全和信息化期刊
数据库课程表先行课号录不进去