shell怎么实现两个表的join操作
发表于:2024-10-02 作者:千家信息网编辑
千家信息网最后更新 2024年10月02日,这篇文章主要讲解了"shell怎么实现两个表的join操作",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"shell怎么实现两个表的join操作"吧!s
千家信息网最后更新 2024年10月02日shell怎么实现两个表的join操作
这篇文章主要讲解了"shell怎么实现两个表的join操作",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"shell怎么实现两个表的join操作"吧!
shell 如何实现两个表的join操作
今天研究的一个问题是:在Shell 脚本中如何实现两个表的 join 操作,这里说的两个表示的其实是 两个文件,但是文件是列表的形式,有固定的分割符号,即就相当于hive中一个非分区表的文件。
表的操作当然是在数据库中操作是最好的: 比如有: table1 table2,我们需要根据 column1 主键关联
select * from table1 a table2 b where a.column1 = b.column1
搞定。如果需要复杂一点的,可以用 join 操作实现。
但是如果你手上刚好有两个文件呢?一种办法是导入数据库,这样太慢了,下面用shell命令实现。
数据样例
假设 table1.txt 文件的样例数据如下:
daacdaaedyWcMIV= http://mp.weixin.qq.com/s?__biz=daacdaaedyWcMIV=&mid=200664912&idx=1&sn=c3fbe92847655211faf109c6856f4c0adaacddeMdcedauY= http://mp.weixin.qq.com/s?__biz=daacddeMdcedauY=&mid=200435227&idx=1&sn=a8802c19dacf0b2db6462eaec09c0b19daacddeVdeaudaY= http://mp.weixin.qq.com/s?__biz=daacddeVdeaudaY=&mid=200668153&idx=1&sn=869b00b38caa70de6c32848f396b8aa6daacdduydVWyeMM= http://mp.weixin.qq.com/s?__biz=daacdduydVWyeMM=&mid=200659749&idx=1&sn=6fe9107dd69dd3b5de32bf6e5597a408daacdeMddMMyVWw= http://mp.weixin.qq.com/s?__biz=daacdeMddMMyVWw=&mid=200912280&idx=7&sn=a70041d29f6b4ad06554ea97291d06bcdaacdMcadMMyduV= http://mp.weixin.qq.com/s?__biz=daacdMcadMMyduV=&mid=200654058&idx=3&sn=a6e57a52b1bd9c38f392825da34b499ddaacdudVdIecyMY= http://mp.weixin.qq.com/s?__biz=daacdudVdIecyMY=&mid=200382730&idx=4&sn=aeed567f2ad4ee595846623f7e2c8fbfdaacduyudeVeWdv= http://mp.weixin.qq.com/s?__biz=daacduyudeVeWdv=&mid=200468183&idx=1&sn=df3d20eef948571d3120b74416b9b010daacdycIdWdyaIV= http://mp.weixin.qq.com/s?__biz=daacdycIdWdyaIV=&mid=200839908&idx=8&sn=40eb71efc2e70a779af0fc782ac78c47daacdyIydayccyV= http://mp.weixin.qq.com/s?__biz=daacdyIydayccyV=&mid=200303209&idx=1&sn=63fbd789967812b16ff71b3667d36095```
table2.txt 文件的样例数据如下:
MjM5MDQ3MDIyMg==MjM5MDU2OTI4OQ==MjM5MDc5MTk2NQ==MjM5MDg5MDE2Nw==MjM5MDk3NDQ4Mw==MjM5MTA4MTEyNQ==MjM5MTQwMzcwMA==MjM5MjEwMjkyMA==MjM5MjM2ODU5Nw==MjM5MjMxOTYxMw==
下面的任务就是要找出table1.txt中所有主键存在于table2.txt中的记录,文件的主键都是第一列
shell命令
awk -F'\t' ' {if (ARGIND==1) ccc[$1]} {if (ARGIND>1 && ($1 in ccc)) print $0} ' test2.txt test1.txt > test.txt
命令解释: awk -F 表示字段分割符号
接下来是命令,命令必须用单引号包围,双引号不行。
ARGIND == 1表示读取到第一个文件,就把第一列存入数组ccc
当读到其他文件,这里就是第二个文件,就判断它的第一列是否在数组中,在就输出。
感谢各位的阅读,以上就是"shell怎么实现两个表的join操作"的内容了,经过本文的学习后,相信大家对shell怎么实现两个表的join操作这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是,小编将为大家推送更多相关知识点的文章,欢迎关注!
文件
两个
命令
数据
就是
学习
内容
引号
数据库
数组
符号
问题
研究
不行
复杂
接下来
任务
办法
字段
形式
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
杭州中策职高计算机网络技术
重庆华为服务器维修维保费用
高科天逸互联网科技有限公司
百家乐分析软件开发
iscsi服务器挂载磁盘阵列
服务器远程管理网口
电脑断网了重启服务器了怎么设置
怎么开一个电脑服务器
文本转语音软件开发工具
江阴服务器维修企业
河南金蝶财务软件开发
苹果查序列号显示服务器未响应
御2飞行安全精准数据库更新
非码网络技术有限公司
数据库模型通常由三个部分组成
东莞商城软件开发编程
有效的dns服务器地址格式
多人共用服务器做软件开发
csgo不能进安全服务器
陆军网络安全典型案例
html5怎么与服务器通讯
java在软件开发中
32位sql数据库
社区养老呼叫服务器
mysql数据库登陆
香港服务器代维
惠普打印机设置web服务器
浙江网络安全审计工控整机哪家好
浙江画千色互联网科技
打印服务器如何连接网络