hive中任意相邻时间段数据获取
发表于:2024-11-28 作者:千家信息网编辑
千家信息网最后更新 2024年11月28日,通过sql语句获取相邻时段数据不比通过其它编程语言,因为sql里面没有for循环,故在实现时需要增加一份副表数据,这里对该方法做一个记录。背景:获取2017年全年平台用户进出贵州省的次数(分为进港次数
千家信息网最后更新 2024年11月28日hive中任意相邻时间段数据获取
通过sql语句获取相邻时段数据不比通过其它编程语言,因为sql里面没有for循环,故在实现时需要增加一份副表数据,这里对该方法做一个记录。
背景:获取2017年全年平台用户进出贵州省的次数(分为进港次数和出港次数)。
处理方式:
1.根据定位数据获取当年在贵州出现过的用户
2.获取这些用户的全部定位数据,并根据定位时间进行排序
如上,从左到右以此分别为用户id,定位时间,定位省份id,排序编号,是否定位在贵州
3.这里考虑根据if_loc这个字段来判断用户是入港还是出港,但是仅仅依靠这张a表还无法完全实现,因此考虑增加一张b表,b表的数据来自于a表,但两张表对rn值对应的数据会有一些差别
其中 b.rn_b = a.rn - 1
4.两张表进行关联,获取进港、出港标签port_flag
select a.bid,a.uploadtime,a.province_id,b.if_loc_b - a.if_loc port_flagfrom ainner join b on (a.bid = b.bid and a.rn = b.rn_b)
当port_flag = 1 时为入港,port_flag = -1 时为出港,port_flag = 0时为港内持续定位。
入港和出港涉及到两个时段的定位数据,通过这种方式,自然也可以获取到两个时段内的其它数据。
数据
定位
用户
出港
时段
次数
贵州
时间
两个
方式
加一
排序
全年
如上
字段
差别
平台
方法
标签
省份
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
现在网站都用什么web服务器
网络安全公开课名师讲堂
计算机课网络技术
维护网络安全实时
数据库一直卡在初始化
应届生求职软件开发
山警网络安全学什么
通过打游戏开始聊天的数据库
全球最大的数据库公司甲骨文
建立连接服务器
网络安全防护策略描述
360国家网络安全中心
增强服务器安全性能
门头沟区网络软件开发质量推荐
服务器内存条RC和RE什么区别
局域网网关与服务器的区别
cdn服务器有哪些
怎么用手机玩方舟服务器
扎实做好残疾人数据库录入
高级数据库技术和应用的心得
服务器文献管理软件
聚云服务器租
思科集中管理服务器
数据库技术与人工智能相合
学生网络安全知识意义
绝地求生连接不上服务器
sql数据库查询代码
浙江湖州软件开发单位
如何打开百度服务器
怎么去部队里当网络安全兵